CN116152205A - 静电喷涂板的智能化生产系统及其方法 - Google Patents
静电喷涂板的智能化生产系统及其方法 Download PDFInfo
- Publication number
- CN116152205A CN116152205A CN202310163540.0A CN202310163540A CN116152205A CN 116152205 A CN116152205 A CN 116152205A CN 202310163540 A CN202310163540 A CN 202310163540A CN 116152205 A CN116152205 A CN 116152205A
- Authority
- CN
- China
- Prior art keywords
- circuit board
- feature
- matrix
- depth
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 61
- 238000007590 electrostatic spraying Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims description 241
- 238000013527 convolutional neural network Methods 0.000 claims description 65
- 238000009826 distribution Methods 0.000 claims description 60
- 230000011218 segmentation Effects 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 36
- 239000007921 spray Substances 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 12
- 230000005284 excitation Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000002787 reinforcement Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 238000005507 spraying Methods 0.000 abstract description 16
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000007792 addition Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Abstract
一种静电喷涂板的智能化生产系统及其方法，其获取待静电喷涂的线路板的RGB图像和深度图像；采用基于深度学习的人工智能技术，挖掘线路板的RGB图像和深度图像的图像隐含特征融合信息，并基于此来进行线路板子区域的分割。这样，可以准确地根据线路板的实际尺寸情况来进行线路板的子区域分割，以此将线路板分割为几个深度一致的线路板子区域，进而基于各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好更均匀地喷涂。
Description
技术领域
本申请涉及智能化生产技术领域，并且更具体地，涉及一种静电喷涂板的智能化生产系统及其方法。
背景技术
通过静电喷涂工艺制得的印刷电路板是一种常见的静电喷涂板。利用静电喷涂机喷涂线路板，具有较高的生产效率，且便于操作，喷涂后的线路板具有较佳的品质保障，因此，静电喷涂机得到了越来越多线路板制造商的认可。但是现有的线路板进行静电喷涂时，由于线路板的宽度和高度是不统一的，如果不根据线路板的尺寸大小进行调整加工，线路板加工完毕后由于宽度较大的问题，容易导致各部位喷涂深度不一，由于高度的问题，其板边容易出现聚油的情况。因此，期待一种优化的静电喷涂板的智能化生产方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种静电喷涂板的智能化生产系统及其方法，其获取待静电喷涂的线路板的RGB图像和深度图像；采用基于深度学习的人工智能技术，挖掘线路板的RGB图像和深度图像的图像隐含特征融合信息，并基于此来进行线路板子区域的分割。这样，可以准确地根据线路板的实际尺寸情况来进行线路板的子区域分割，以此将线路板分割为几个深度一致的线路板子区域，进而基于各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好更均匀地喷涂。
第一方面，提供了一种静电喷涂板的智能化生产系统，其包括：
图像采集模块，用于获取待静电喷涂的线路板的RGB图像和深度图像；
RGB图像特征提取模块，用于将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵；
深度图像特征提取模块，用于将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵；
特征关联融合模块，用于融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；
优化模块，用于对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵；以及
分隔结果生成模块，用于对所述优化线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。
在上述静电喷涂板的智能化生产系统中，所述RGB图像特征提取模块，包括：浅层特征图提取单元，用于从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；深层特征图提取单元，用于从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图； 深浅融合单元，用于使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，池化单元，用于将所述融合特征图沿着通道维度进行全局均值池化以得到所述线路板空间表观呈现特征矩阵。
在上述静电喷涂板的智能化生产系统中，所述深度图像特征提取模块，用于：所述使用空间注意力机制的第二卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的第二卷积神经网络模型的最后一层输出的所述特征矩阵为所述线路板深度分布特征矩阵。
在上述静电喷涂板的智能化生产系统中，所述特征关联融合模块，用于：以如下公式融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；其中，所述公式为：
其中，
表示所述线路板多维特征矩阵，/>
表示所述线路板空间表观呈现特征矩阵,/>
表示所述线路板深度分布特征矩阵，“/>
”表示所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵相对应位置处的元素相加，/>
和/>
表示用于控制所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵之间的平衡的加权参数。
在上述静电喷涂板的智能化生产系统中，所述优化模块，用于：以如下公式对所述线路板多维特征矩阵进行基于可区分性物理激励的交互强化以得到所述优化线路板多维特征矩阵；其中，所述公式为：
其中,
是所述线路板多维特征矩阵，/>
和/>
是预定超参数，/>
和/>
表示特征矩阵的按位置加法和减法，且/>
表示通过单个卷积层的卷积操作，/>
是所述优化线路板多维特征矩阵。
在上述静电喷涂板的智能化生产系统中，所述图像语义分割结果为将所述线路板分割为几个深度一致的线路板子区域。
第二方面，提供了一种静电喷涂板的智能化生产方法，其包括：
获取待静电喷涂的线路板的RGB图像和深度图像；
将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵；
将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵；
融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；
对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵；以及
对所述优化线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。
在上述静电喷涂板的智能化生产方法中，将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵，包括：从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图； 使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，将所述融合特征图沿着通道维度进行全局均值池化以得到所述线路板空间表观呈现特征矩阵。
在上述静电喷涂板的智能化生产方法中，将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵，包括：所述使用空间注意力机制的第二卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的第二卷积神经网络模型的最后一层输出的所述特征矩阵为所述线路板深度分布特征矩阵。
在上述静电喷涂板的智能化生产方法中，融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵，包括：以如下公式融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；其中，所述公式为：
其中，
表示所述线路板多维特征矩阵，/>
表示所述线路板空间表观呈现特征矩阵,/>
表示所述线路板深度分布特征矩阵，“/>
”表示所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵相对应位置处的元素相加，/>
和/>
表示用于控制所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵之间的平衡的加权参数。
与现有技术相比，本申请提供的静电喷涂板的智能化生产系统及其方法，其获取待静电喷涂的线路板的RGB图像和深度图像；采用基于深度学习的人工智能技术，挖掘线路板的RGB图像和深度图像的图像隐含特征融合信息，并基于此来进行线路板子区域的分割。这样，可以准确地根据线路板的实际尺寸情况来进行线路板的子区域分割，以此将线路板分割为几个深度一致的线路板子区域，进而基于各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好更均匀地喷涂。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的静电喷涂板的智能化生产系统的应用场景图。
图2为根据本申请实施例的静电喷涂板的智能化生产系统的框图。
图3为根据本申请实施例的静电喷涂板的智能化生产系统中所述RGB图像特征提取模块的框图。
图4为根据本申请实施例的静电喷涂板的智能化生产方法的流程图。
图5为根据本申请实施例的静电喷涂板的智能化生产方法的系统架构的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
如上所述，现有的线路板进行静电喷涂时，由于线路板的宽度和高度是不统一的，如果不根据线路板的尺寸大小进行调整加工，线路板加工完毕后由于宽度较大的问题，容易导致各部位喷涂深度不一，由于高度的问题，其板边容易出现聚油的情况。因此，期待一种优化的静电喷涂板的智能化生产方案。
相应地，考虑到在实际进行线路板的静电喷涂时，需要根据线路板的尺寸大小来进行调整加工，而这可以通过对于线路板的RGB图像和深度图像的分析来进行确定。也就是说，基于线路板的实际尺寸情况来进行线路板的分割，以此将线路板分割为几个深度一致的线路板子区域，这样可基于所述深度图像中各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好更均匀地喷涂。但是，考虑到由于所述线路板的RGB图像和深度图像中分别具有着线路板的平面特征信息和深度特征信息，由于图像中存在的信息量较多，难以对于有用的特征信息进行捕捉获取，进而降低了线路板子区域分割的精准度。因此，在此过程中，难点在于如何挖掘出所述线路板的RGB图像和深度图像的图像隐含特征融合信息，以此来进行线路板子区域的分割，提高线路板表面喷涂的质量。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为挖掘所述线路板的RGB图像和深度图像的图像隐含特征融合信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取待静电喷涂的线路板的RGB图像和深度图像。应可以理解，由于所述待静电喷涂的线路板的RGB图像和深度图像中分别存在着线路板的平面特征信息和深度特征信息，因此，为了提高对于线路板子区域分割的精准度，需要对于所述线路板的RGB图像和深度图像进行充分且准确地特征挖掘。
特别地，对于所述待静电喷涂的线路板的RGB图像来说，考虑到由于所述线路板的RGB图像为图像数据，因此，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述线路板的RGB图像的图像特征。特别地，在本申请的技术方案中，考虑到在进行线路板的特征识别检测以进行所述线路板的子区域分割过程中，线路板的表面轮廓、形状等浅层特征对于所述线路板的尺寸特征检测具有重要意义，而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没，因此，在本申请的技术方案中，使用包含深浅特征融合模块的第一卷积神经网络模型对所述待静电喷涂的线路板的RGB图像进行处理，以提取出所述待静电喷涂的线路板的RGB图像中的关于线路板的深层特征和浅层特征的融合特征分布信息。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高对于所述线路板的表面特征提取的充分性和准确性，进而提高所述线路板的子区域分割的精度。
然后，对于所述待静电喷涂的线路板的深度图像来说，其反映了所述线路板的深度信息，对其深度特征信息的提取能够为后续的所述各个线路板子区域的深度信息捕捉提供依据。因此，为了能够提高对于喷涂高度确定的精准度，以此来提高喷涂质量，需要对于所述待静电喷涂的线路板的深度特征进行挖掘。具体地，在本申请的技术方案中，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述待静电喷涂的线路板的深度图像的特征提取，特别地，考虑到在进行所述线路板的深度特征信息提取以进行子区域分割时，应关注于空间位置上关于线路板的深度信息隐含特征而忽略与所述线路板深度特征信息无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型中进行处理，以提取出所述待静电喷涂的线路板的深度图像中聚焦于空间上的关于所述待静电喷涂的线路板的深度隐含特征分布信息，从而得到线路板深度分布特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于所述待静电喷涂的线路板的深度特征信息。
接着，进一步再融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵，以此来融合所述待静电喷涂的线路板的表面深浅特征融合信息和所述线路板聚焦于空间位置上的深度隐含特征信息，即关于所述待静电喷涂的线路板的尺寸多维特征信息，从而得到线路板多维特征矩阵。
进一步地，在得到所述待静电喷涂的线路板的多维尺寸特征信息后，对所述线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。具体地，在本申请的技术方案中，所述图像语义分割结果为将所述线路板分割为几个深度一致的线路板子区域，这样可基于所述深度图像中各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好地均匀地喷涂。
特别地，在本申请的技术方案中，对于融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵得到的所述线路板多维特征矩阵来说，由于第一卷积神经网络和第二卷积神经网络都是在空间维度上进行特征提取，而图像语义分割任务也就对于特征矩阵的各个空间位置的特征值进行语义分割，因此如果能够增强所述线路板多维特征矩阵中的某些位置的特征值相对于其它位置的特征值的更显著的重要性，就可以在图像语义分割任务中对于特征值进行有效区分，从而提高模型的训练速度和图像语义分割结果的准确性。
因此，本申请的申请人对所述线路板多维特征矩阵，例如记为
进行基于可区分性物理激励的交互强化，表示为：
其中
是优化后的线路板多维特征矩阵，/>
和/>
是预定超参数，/>
和/>
表示特征矩阵的按位置加法和减法，除法表示特征矩阵的每个位置除以相应值，且/>
表示通过单个卷积层的卷积操作。
这里，所述基于可区分性物理激励的交互强化用于在通过梯度下降的反向传播过程当中提升特征空间与图像语义分割问题的解空间之间的交互，其以类似物理激励的方式来提取和模仿可行特征（actionable feature），由此，使用通用目的的低维可导式物理激励方式，来获得具有梯度可区分性的可行特征的物理性表达，从而在训练过程中强化所述线路板多维特征矩阵
内的活跃部分，以提升优化后的线路板多维特征矩阵/>
在模型中的训练速度和训练后的线路板多维特征的图像语义分割结果的准确性。这样，能够准确地根据线路板的实际尺寸情况来进行线路板的子区域分割，以此将线路板分割为几个深度一致的线路板子区域，进而基于各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好更均匀地喷涂。
图1为根据本申请实施例的静电喷涂板的智能化生产系统的应用场景图。如图1所示，在该应用场景中，首先，获取待静电喷涂的线路板的RGB图像（例如，如图1中所示意的C1）和深度图像（例如，如图1中所示意的C2）；然后，将获取的RGB图像和深度图像输入至部署有静电喷涂板的智能化生产算法的服务器（例如，如图1中所示意的S）中，其中所述服务器能够基于静电喷涂板的智能化生产算法对所述RGB图像和所述深度图像进行处理，以生成图像语义分割结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图2为根据本申请实施例的静电喷涂板的智能化生产系统的框图。如图2所示，根据本申请实施例的静电喷涂板的智能化生产系统100，包括：图像采集模块110，用于获取待静电喷涂的线路板的RGB图像和深度图像；RGB图像特征提取模块120，用于将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵；深度图像特征提取模块130，用于将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵；特征关联融合模块140，用于融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；优化模块150，用于对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵；以及，分隔结果生成模块160，用于对所述优化线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。
具体地，在本申请实施例中，所述图像采集模块110，用于获取待静电喷涂的线路板的RGB图像和深度图像。
考虑到在实际进行线路板的静电喷涂时，需要根据线路板的尺寸大小来进行调整加工，而这可以通过对于线路板的RGB图像和深度图像的分析来进行确定。也就是说，基于线路板的实际尺寸情况来进行线路板的分割，以此将线路板分割为几个深度一致的线路板子区域，这样可基于所述深度图像中各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好更均匀地喷涂。但是，考虑到由于所述线路板的RGB图像和深度图像中分别具有着线路板的平面特征信息和深度特征信息，由于图像中存在的信息量较多，难以对于有用的特征信息进行捕捉获取，进而降低了线路板子区域分割的精准度。因此，在此过程中，难点在于如何挖掘出所述线路板的RGB图像和深度图像的图像隐含特征融合信息，以此来进行线路板子区域的分割，提高线路板表面喷涂的质量。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
深度学习以及神经网络的发展为挖掘所述线路板的RGB图像和深度图像的图像隐含特征融合信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取待静电喷涂的线路板的RGB图像和深度图像。应可以理解，由于所述待静电喷涂的线路板的RGB图像和深度图像中分别存在着线路板的平面特征信息和深度特征信息，因此，为了提高对于线路板子区域分割的精准度，需要对于所述线路板的RGB图像和深度图像进行充分且准确地特征挖掘。
具体地，在本申请实施例中，所述RGB图像特征提取模块120，用于将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵。特别地，对于所述待静电喷涂的线路板的RGB图像来说，考虑到由于所述线路板的RGB图像为图像数据，因此，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述线路板的RGB图像的图像特征。
特别地，在本申请的技术方案中，考虑到在进行线路板的特征识别检测以进行所述线路板的子区域分割过程中，线路板的表面轮廓、形状等浅层特征对于所述线路板的尺寸特征检测具有重要意义，而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没，因此，在本申请的技术方案中，使用包含深浅特征融合模块的第一卷积神经网络模型对所述待静电喷涂的线路板的RGB图像进行处理，以提取出所述待静电喷涂的线路板的RGB图像中的关于线路板的深层特征和浅层特征的融合特征分布信息。
图3为根据本申请实施例的静电喷涂板的智能化生产系统中所述RGB图像特征提取模块的框图，如图3所示，所述RGB图像特征提取模块120，包括：浅层特征图提取单元121，用于从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；深层特征图提取单元122，用于从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；深浅融合单元123，用于使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，池化单元124，用于将所述融合特征图沿着通道维度进行全局均值池化以得到所述线路板空间表观呈现特征矩阵。
应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高对于所述线路板的表面特征提取的充分性和准确性，进而提高所述线路板的子区域分割的精度。
在使用第一卷积神经网络模型对所述待静电喷涂的线路板的RGB图像进行编码以得到线路板空间表观呈现特征矩阵的过程中，首先从所述第一卷积神经网络模型的浅层提取出浅层特征图（例如，所述浅层指的是第一层至第六层），并从所述第一卷积神经网络模型的深层提取深层特征图（例如，所述第一卷积神经网络模型的最后一层），然后，通过融合所述浅层特征图和所述深层特征图以得到包含浅层特征和深层特征的特征表示。在具体编码过程中，所述浅层特征图的提取位置由所述第一卷积神经网络模型的整体网络深度所决定，例如，当网络深度是30时，从所述卷第一卷积神经网络模型的第3层，当网络深度是40时，从所述第一卷积神经网络模型的第4层，对此，并不为本申请所局限。同样地，所述深层特征图的提取位置也并不为本申请所局限，其可以是最后一层，也可以是倒数最二层，也可以是同时从最后一层和倒数第二层。
具体地，在本申请实施例中，所述深度图像特征提取模块130，用于将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵。然后，对于所述待静电喷涂的线路板的深度图像来说，其反映了所述线路板的深度信息，对其深度特征信息的提取能够为后续的所述各个线路板子区域的深度信息捕捉提供依据。因此，为了能够提高对于喷涂高度确定的精准度，以此来提高喷涂质量，需要对于所述待静电喷涂的线路板的深度特征进行挖掘。
具体地，在本申请的技术方案中，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述待静电喷涂的线路板的深度图像的特征提取，特别地，考虑到在进行所述线路板的深度特征信息提取以进行子区域分割时，应关注于空间位置上关于线路板的深度信息隐含特征而忽略与所述线路板深度特征信息无关的干扰特征。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。
因此，在本申请的技术方案中，将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型中进行处理，以提取出所述待静电喷涂的线路板的深度图像中聚焦于空间上的关于所述待静电喷涂的线路板的深度隐含特征分布信息，从而得到线路板深度分布特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于所述待静电喷涂的线路板的深度特征信息。
其中，所述深度图像特征提取模块，用于：所述使用空间注意力机制的第二卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的第二卷积神经网络模型的最后一层输出的所述特征矩阵为所述线路板深度分布特征矩阵。
应可以理解，注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask, mask上的值的权重。 一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
具体地，在本申请实施例中，所述特征关联融合模块140，用于融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵。接着，进一步再融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵，以此来融合所述待静电喷涂的线路板的表面深浅特征融合信息和所述线路板聚焦于空间位置上的深度隐含特征信息，即关于所述待静电喷涂的线路板的尺寸多维特征信息，从而得到线路板多维特征矩阵。
进一步地，所述特征关联融合模块，用于：以如下公式融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；其中，所述公式为：
其中，
表示所述线路板多维特征矩阵，/>
表示所述线路板空间表观呈现特征矩阵,/>
表示所述线路板深度分布特征矩阵，“/>
”表示所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵相对应位置处的元素相加，/>
和/>
表示用于控制所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵之间的平衡的加权参数。
具体地，在本申请实施例中，所述优化模块150，用于对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵。
特别地，在本申请的技术方案中，对于融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵得到的所述线路板多维特征矩阵来说，由于第一卷积神经网络和第二卷积神经网络都是在空间维度上进行特征提取，而图像语义分割任务也就对于特征矩阵的各个空间位置的特征值进行语义分割，因此如果能够增强所述线路板多维特征矩阵中的某些位置的特征值相对于其它位置的特征值的更显著的重要性，就可以在图像语义分割任务中对于特征值进行有效区分，从而提高模型的训练速度和图像语义分割结果的准确性。
因此，本申请的申请人对所述线路板多维特征矩阵，例如记为
进行基于可区分性物理激励的交互强化，也就是，以如下公式对所述线路板多维特征矩阵进行基于可区分性物理激励的交互强化以得到所述优化线路板多维特征矩阵；其中，所述公式为：/>
其中,
是所述线路板多维特征矩阵，/>
和/>
是预定超参数，/>
和/>
表示特征矩阵的按位置加法和减法，且/>
表示通过单个卷积层的卷积操作，/>
是所述优化线路板多维特征矩阵。
这里，所述基于可区分性物理激励的交互强化用于在通过梯度下降的反向传播过程当中提升特征空间与图像语义分割问题的解空间之间的交互，其以类似物理激励的方式来提取和模仿可行特征（actionable feature），由此，使用通用目的的低维可导式物理激励方式，来获得具有梯度可区分性的可行特征的物理性表达，从而在训练过程中强化所述线路板多维特征矩阵
内的活跃部分，以提升优化后的线路板多维特征矩阵/>
在模型中的训练速度和训练后的线路板多维特征的图像语义分割结果的准确性。这样，能够准确地根据线路板的实际尺寸情况来进行线路板的子区域分割，以此将线路板分割为几个深度一致的线路板子区域，进而基于各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好更均匀地喷涂。
具体地，在本申请实施例中，所述分隔结果生成模块160，用于对所述优化线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。进一步地，在得到所述待静电喷涂的线路板的多维尺寸特征信息后，对所述线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。
具体地，在本申请的技术方案中，所述图像语义分割结果为将所述线路板分割为几个深度一致的线路板子区域，这样可基于所述深度图像中各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好地均匀地喷涂。
综上，基于本申请实施例的静电喷涂板的智能化生产系统100被阐明，其获取待静电喷涂的线路板的RGB图像和深度图像；采用基于深度学习的人工智能技术，挖掘线路板的RGB图像和深度图像的图像隐含特征融合信息，并基于此来进行线路板子区域的分割。这样，可以准确地根据线路板的实际尺寸情况来进行线路板的子区域分割，以此将线路板分割为几个深度一致的线路板子区域，进而基于各个线路板子区域的深度信息来确定喷涂高度，从而对线路板表面进行更好更均匀地喷涂。
如上所述，根据本申请实施例的静电喷涂板的智能化生产系统100可以实现在各种终端设备中，例如用于静电喷涂板的智能化生产的控制的服务器等。在一个示例中，根据本申请实施例的静电喷涂板的智能化生产系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该静电喷涂板的智能化生产系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该静电喷涂板的智能化生产系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该静电喷涂板的智能化生产系统100与该终端设备也可以是分立的设备，并且该静电喷涂板的智能化生产系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
在本申请的一个实施例中，图4为根据本申请实施例的静电喷涂板的智能化生产方法的流程图。如图4所示，根据本申请实施例的静电喷涂板的智能化生产方法，其包括：210，获取待静电喷涂的线路板的RGB图像和深度图像；220，将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵；230，将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵；240，融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；250，对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵；以及，260，对所述优化线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。
图5为根据本申请实施例的静电喷涂板的智能化生产方法的系统架构的示意图。如图5所示，在所述静电喷涂板的智能化生产方法的系统架构中，首先，获取待静电喷涂的线路板的RGB图像和深度图像；然后，将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵；接着，将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵；然后，融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；接着，对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵；以及，最后，对所述优化线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。
在一个具体示例中，在上述静电喷涂板的智能化生产方法中，将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵，包括：从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图； 使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，将所述融合特征图沿着通道维度进行全局均值池化以得到所述线路板空间表观呈现特征矩阵。
在一个具体示例中，在上述静电喷涂板的智能化生产方法中，将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵，包括：所述使用空间注意力机制的第二卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；其中，所述使用空间注意力机制的第二卷积神经网络模型的最后一层输出的所述特征矩阵为所述线路板深度分布特征矩阵。
在一个具体示例中，在上述静电喷涂板的智能化生产方法中，融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵，包括：以如下公式融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；其中，所述公式为：
其中，
表示所述线路板多维特征矩阵，/>
表示所述线路板空间表观呈现特征矩阵,/>
表示所述线路板深度分布特征矩阵，“/>
”表示所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵相对应位置处的元素相加，/>
和/>
表示用于控制所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵之间的平衡的加权参数。
在一个具体示例中，在上述静电喷涂板的智能化生产方法中，对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵，包括：以如下公式对所述线路板多维特征矩阵进行基于可区分性物理激励的交互强化以得到所述优化线路板多维特征矩阵；其中，所述公式为：
其中,
是所述线路板多维特征矩阵，/>
和/>
是预定超参数，/>
和/>
表示特征矩阵的按位置加法和减法，且/>
表示通过单个卷积层的卷积操作，/>
是所述优化线路板多维特征矩阵。
在一个具体示例中，在上述静电喷涂板的智能化生产方法中，所述图像语义分割结果为将所述线路板分割为几个深度一致的线路板子区域。
本领域技术人员可以理解，上述静电喷涂板的智能化生产方法中的各个步骤的具体操作已经在上面参考图1到图3的静电喷涂板的智能化生产系统的描述中得到了详细介绍，并因此，将省略其重复描述。
在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。
本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种静电喷涂板的智能化生产系统，其特征在于，包括：
图像采集模块，用于获取待静电喷涂的线路板的RGB图像和深度图像；
RGB图像特征提取模块，用于将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵；
深度图像特征提取模块，用于将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵；
特征关联融合模块，用于融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；
优化模块，用于对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵；以及
分隔结果生成模块，用于对所述优化线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。
2.根据权利要求1所述的静电喷涂板的智能化生产系统，其特征在于，所述RGB图像特征提取模块，包括：
浅层特征图提取单元，用于从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；
深层特征图提取单元，用于从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；
深浅融合单元，用于使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及
池化单元，用于将所述融合特征图沿着通道维度进行全局均值池化以得到所述线路板空间表观呈现特征矩阵。
3.根据权利要求2所述的静电喷涂板的智能化生产系统，其特征在于，所述深度图像特征提取模块，用于：所述使用空间注意力机制的第二卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；
其中，所述使用空间注意力机制的第二卷积神经网络模型的最后一层输出的所述特征矩阵为所述线路板深度分布特征矩阵。
4.根据权利要求3所述的静电喷涂板的智能化生产系统，其特征在于，所述特征关联融合模块，用于：以如下公式融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；
其中，所述公式为：
其中，
表示所述线路板多维特征矩阵，/>
表示所述线路板空间表观呈现特征矩阵,
表示所述线路板深度分布特征矩阵，“/>
”表示所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵相对应位置处的元素相加，/>
和/>
表示用于控制所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵之间的平衡的加权参数。
5.根据权利要求4所述的静电喷涂板的智能化生产系统，其特征在于，所述优化模块，用于：以如下公式对所述线路板多维特征矩阵进行基于可区分性物理激励的交互强化以得到所述优化线路板多维特征矩阵；
其中，所述公式为：
其中,
是所述线路板多维特征矩阵，/>
和/>
是预定超参数，/>
和/>
表示特征矩阵的按位置加法和减法，且/>
表示通过单个卷积层的卷积操作，/>
是所述优化线路板多维特征矩阵。
6.根据权利要求5所述的静电喷涂板的智能化生产系统，其特征在于，所述图像语义分割结果为将所述线路板分割为几个深度一致的线路板子区域。
7.一种静电喷涂板的智能化生产方法，其特征在于，包括：
获取待静电喷涂的线路板的RGB图像和深度图像；
将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵；
将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵；
融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；
对所述线路板多维特征矩阵进行特征值位置区分度强化以得到优化线路板多维特征矩阵；以及
对所述优化线路板多维特征矩阵进行图像语义分割以得到图像语义分割结果。
8.根据权利要求7所述的静电喷涂板的智能化生产方法，其特征在于，将所述待静电喷涂的线路板的RGB图像通过包含深浅特征融合模块的第一卷积神经网络模型以得到线路板空间表观呈现特征矩阵，包括：
从所述包含深浅特征融合模块的第一卷积神经网络模型的浅层提取浅层特征图；
从所述包含深浅特征融合模块的第一卷积神经网络模型的深层提取深层特征图；
使用所述包含深浅特征融合模块的第一卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及
将所述融合特征图沿着通道维度进行全局均值池化以得到所述线路板空间表观呈现特征矩阵。
9.根据权利要求8所述的静电喷涂板的智能化生产方法，其特征在于，将所述待静电喷涂的线路板的深度图像通过使用空间注意力机制的第二卷积神经网络模型以得到线路板深度分布特征矩阵，包括：所述使用空间注意力机制的第二卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成卷积特征图；
对所述卷积特征图进行池化处理以生成池化特征图；
对所述池化特征图进行非线性激活以生成激活特征图；
计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；
计算所述空间特征矩阵中各个位置的类Softmax函数值以获得空间得分矩阵；以及
计算所述空间特征矩阵和所述空间得分矩阵的按位置点乘以获得特征矩阵；
其中，所述使用空间注意力机制的第二卷积神经网络模型的最后一层输出的所述特征矩阵为所述线路板深度分布特征矩阵。
10.根据权利要求9所述的静电喷涂板的智能化生产方法，其特征在于，融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵，包括：以如下公式融合所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵以得到线路板多维特征矩阵；
其中，所述公式为：
其中，
表示所述线路板多维特征矩阵，/>
表示所述线路板空间表观呈现特征矩阵,
表示所述线路板深度分布特征矩阵，“/>
”表示所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵相对应位置处的元素相加，/>
和/>
表示用于控制所述线路板空间表观呈现特征矩阵和所述线路板深度分布特征矩阵之间的平衡的加权参数。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310163540.0A CN116152205A (zh) | 2023-02-24 | 2023-02-24 | 静电喷涂板的智能化生产系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310163540.0A CN116152205A (zh) | 2023-02-24 | 2023-02-24 | 静电喷涂板的智能化生产系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152205A true CN116152205A (zh) | 2023-05-23 |
Family
ID=86340528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310163540.0A Withdrawn CN116152205A (zh) | 2023-02-24 | 2023-02-24 | 静电喷涂板的智能化生产系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152205A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593293A (zh) * | 2024-01-18 | 2024-02-23 | 吉林大学 | 鼻骨骨折影像智能处理系统及方法 |
-
2023
- 2023-02-24 CN CN202310163540.0A patent/CN116152205A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593293A (zh) * | 2024-01-18 | 2024-02-23 | 吉林大学 | 鼻骨骨折影像智能处理系统及方法 |
| CN117593293B (zh) * | 2024-01-18 | 2024-04-05 | 吉林大学 | 鼻骨骨折影像智能处理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635883B (zh) | 基于深度堆叠网络的结构信息指导的中文字库生成方法 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN107844795B (zh) | 基于主成分分析的卷积神经网络特征提取方法 | |
| CN108241854B (zh) | 一种基于运动和记忆信息的深度视频显著性检测方法 | |
| CN113674140B (zh) | 一种物理对抗样本生成方法及系统 | |
| US8379994B2 (en) | Digital image analysis utilizing multiple human labels | |
| US20150310305A1 (en) | Learning painting styles for painterly rendering | |
| CN108681695A (zh) | 视频动作识别方法及装置、电子设备和存储介质 | |
| KR102140805B1 (ko) | 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치 | |
| CN111667005B (zh) | 一种采用rgbd视觉传感的人体交互系统 | |
| CN109214403A (zh) | 图像识别方法、装置及设备、可读介质 | |
| CN112801104B (zh) | 基于语义分割的图像像素级伪标签确定方法及系统 | |
| CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
| CN116152205A (zh) | 静电喷涂板的智能化生产系统及其方法 | |
| CN104794455A (zh) | 一种东巴象形文字识别方法 | |
| Zhang et al. | Channel-wise and feature-points reweights densenet for image classification | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN109685805A (zh) | 一种图像分割方法及装置 | |
| CN116038147A (zh) | 激光金属切割机及其控制方法 | |
| Zhong et al. | Deep attentional guided image filtering | |
| CN115424288A (zh) | 一种基于多维度关系建模的视觉Transformer自监督学习方法及系统 | |
| CN109697442A (zh) | 一种字符识别模型的训练方法和装置 | |
| CN111950579A (zh) | 分类模型的训练方法和训练装置 | |
| CN112907750A (zh) | 一种基于卷积神经网络的室内场景布局估计方法及系统 | |
| Bang et al. | DA-FDFtNet: dual attention fake detection fine-tuning network to detect various AI-generated fake images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230523 |
|
| WW01 | Invention patent application withdrawn after publication |