CN112508789A - 一种基于残差的贴片图像增强识别方法及装置 - Google Patents
一种基于残差的贴片图像增强识别方法及装置 Download PDFInfo
- Publication number
- CN112508789A CN112508789A CN202011488963.2A CN202011488963A CN112508789A CN 112508789 A CN112508789 A CN 112508789A CN 202011488963 A CN202011488963 A CN 202011488963A CN 112508789 A CN112508789 A CN 112508789A
- Authority
- CN
- China
- Prior art keywords
- image
- patch
- residual
- residual error
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 13
- 230000002708 enhancing effect Effects 0.000 abstract description 4
- 239000002609 medium Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种基于残差的贴片图像增强识别方法及装置。本申请实施例提供的技术方案，通过获取图像样本，基于图像样本构建残差样本，并基于残差样本通过卷积神经网络训练得到残差网络模型，提取图像传感器实时采集的贴片图像，将贴片图像输入残差网络模型，基于残差网络模型对贴片图像进行重建得到对应的增强图像，基于增强图像进行贴片检测识别，输出对应的贴片检测结果。采用上述技术手段，通过对贴片图像进行有效增强，提升贴片图像的分辨率，进而提升贴片图像识别检测效率和准确率，优化识别检测效果。并且，本申请实施例通过第二深度神经网络模型验证贴片检测结果，可以进一步提升贴片检测识别精度，优化贴片误差识别效果。
Description
技术领域
本申请实施例涉及贴片机技术领域，尤其涉及一种基于残差的贴片图像增强识别方法及装置。
背景技术
目前，贴片机是SMT(表面贴装技术)的生产线中的主要设备，也是整个SMT生产中最关键、最复杂的设备。贴片机在贴放元器件时，为了确保元器件贴放的精准度，通常会通过人工或者图像处理技术定位贴片位置，以此来确保元器件贴片的精准度。
但是，由于贴片机要处理的元器件封装形式多种多样，各种元器件在外形和大小上存在差异，通过人工定位贴片容易引起定位误差，而图像处理的方式又容易受图像质量的影响，进而影响贴片机的贴片精度，导致贴片效果相对偏差。
发明内容
本申请实施例提供一种基于残差的贴片图像增强识别方法及装置，能够对采集的贴片图像进行有效增强，提升贴片图像识别检测效率和准确率，优化识别检测效果。
在第一方面，本申请实施例提供了一种基于残差的贴片图像增强识别方法，包括：
获取图像样本，所述图像样本包括对应不同拍摄条件拍摄贴片作业的第一图像样本和对应的第二图像样本；
基于所述图像样本构建残差样本，并基于所述残差样本通过卷积神经网络训练得到残差网络模型；
提取图像传感器实时采集的贴片图像，将所述贴片图像输入所述残差网络模型，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像；
基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果。
进一步的，基于所述图像样本构建残差样本，包括：
将所述第一图像样本分解成对应不同方向分量的多个子图像；
根据所述子图像和所述第二图像样本计算得到对应的残差图像；
以各个所述残差图像构建残差样本，所述残差图像表示所述子图像与所述第二图像样本在对应方向分量的差异。
进一步的，所述残差图像的计算公式为：
pi＝yi-x
其中，yi为所述第一图像样本的第i个子图像，x为所述第二图像样本，pi为对应的残差图像。
进一步的，基于所述残差样本通过卷积神经网络训练得到残差网络模型，包括：
基于所述残差样本训练所述残差网络模型的模型参数，并根据所述模型参数确定所述残差网络模型的目标训练函数。
进一步的，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像，包括：
基于所述残差网络模型计算所述贴片图像所对应的贴片残差图像；
根据所述贴片残差图像计算获得对应的贴片子图像，并将所述贴片子图像进行空间位置变换重建对应的增强图像。
进一步的，基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果，包括：
将所述增强图像输入预先训练的贴片检测识别模型，基于所述贴片检测识别模型判断所述增强图像是否出现贴片误差，输出对应的贴片检测结果。
进一步的，基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果之后，包括：
使用第二深度神经网络模型验证所述贴片检测结果，所述第二深度神经网络模型基于正常贴片的图像样本数据进行模型训练，并用于进行所述增强图像的贴片检测。
在第二方面，本申请实施例提供了一种基于残差的贴片图像增强识别装置，包括：
获取模块，用于获取图像样本，所述图像样本包括对应不同拍摄条件拍摄贴片作业的第一图像样本和对应的第二图像样本；
训练模块，用于基于所述图像样本构建残差样本，并基于所述残差样本通过卷积神经网络训练得到残差网络模型；
提取模块，用于提取图像传感器实时采集的贴片图像，将所述贴片图像输入所述残差网络模型，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像；
检测模块，用于基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于残差的贴片图像增强识别方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于残差的贴片图像增强识别方法。
本申请实施例通过获取图像样本，基于图像样本构建残差样本，并基于残差样本通过卷积神经网络训练得到残差网络模型，提取图像传感器实时采集的贴片图像，将贴片图像输入残差网络模型，基于残差网络模型对贴片图像进行重建得到对应的增强图像，基于增强图像进行贴片检测识别，输出对应的贴片检测结果。采用上述技术手段，通过对贴片图像进行有效增强，提升贴片图像的分辨率，进而提升贴片图像识别检测效率和准确率，优化识别检测效果。
并且，本申请实施例通过第二深度神经网络模型验证贴片检测结果，可以进一步提升贴片检测识别精度，优化贴片误差识别效果。
附图说明
图1是本申请实施例一提供的一种基于残差的贴片图像增强识别方法的流程图；
图2是本申请实施例一中的残差样本构建流程图；
图3是本申请实施例一中的贴片机结构示意图；
图4是本申请实施例一中的增强图像重建流程图；
图5是本申请实施例二提供的一种基于残差的贴片图像增强识别装置的机构示意图；
图6是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的基于残差的贴片图像增强识别方法，旨在进行贴片图像检测识别时，通过对贴片图像进行有效增强，提升贴片图像的分辨率，进而以增强后的贴片图像进行检测识别，以此来提升贴片图像的检测识别精度，优化贴片误差识别效果。相对于传统的贴片机，其为了保障贴片精度，通常在进行贴片作业的时候，会通过人工定位或者图像识别定位的方式定位贴片位置，进而进行贴片操作。由于贴片机要处理的元器件封装形式多种多样，各种元器件在外形和大小上存在差异，通过人工定位贴片容易引起定位误差，而图像处理的方式又容易受图像质量的影响。如若拍摄条件相对较差，其获取的图像质量难以满足精准定位元器件的需求，难免会存在贴片误差的情况。基于此，提供本申请实施例的基于残差的贴片图像增强识别方法，以解决现有贴片机贴片误差的技术问题。
实施例一：
图1给出了本申请实施例一提供的一种基于残差的贴片图像增强识别方法的流程图，本实施例中提供的基于残差的贴片图像增强识别方法可以由基于残差的贴片图像增强识别设备执行，该基于残差的贴片图像增强识别设备可以通过软件和/或硬件的方式实现，该基于残差的贴片图像增强识别设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于残差的贴片图像增强识别设备可以是贴片机的控制设备等处理设备。
下述以该基于残差的贴片图像增强识别设备为执行基于残差的贴片图像增强识别方法的主体为例，进行描述。参照图1，该基于残差的贴片图像增强识别方法具体包括：
S110、获取图像样本，所述图像样本包括对应不同拍摄条件拍摄贴片作业的第一图像样本和对应的第二图像样本。
S120、基于所述图像样本构建残差样本，并基于所述残差样本通过卷积神经网络训练得到残差网络模型。
具体的，本申请实施例为了解决贴片图像质量影响导致贴片误差的问题，通过超分辨率重建技术对贴片图像进行重建，以实现对贴片图像的有效增强，提升贴片图像的分辨率。以此来避免拍摄条件较差的情况下，由于贴片图像模糊影响贴片检测的情况。其中，通过构建残差网络模型，基于残差网络模型进行该贴片图像的重建。
在进行残差网络模型构建之前，需要预先构建相应的训练样本。本申请实施例中，以贴片作业过程中拍摄的图像数据作为图像样本。其中，图像样本包括第一图像样本和第二图像样本，第一图像样本和第二图像样本分别对应不同的拍摄条件进行拍摄。第一图像样本在拍摄条件最优或者较优的情况下(如光照最适宜的时候)拍摄贴片图像。对应的，第二图像样本则在拍摄条件相对较差甚至最差的情况下(如光照较弱的时候)拍摄贴片图像。可以理解的是，第一图像样本为相对较高分辨率的图像，其图像质量相对较高。第二图像样本为相对较低分辨率的图像，其图像质量相对较差。第一图像样本和第二图像样本之间体现了对应贴片图像的图像信息差异。而通过构建残差网络模型，即可弥补这一图像信息差异，对贴片图像进行图像信息增强，提升图像分辨率。
进一步的，基于上述获取到的图像样本，进一步进行训练样本的构建。本申请实施例中，通过该图像样本构建残差样本，并进一步以残差样本作为训练样本训练该残差网络模型。参照图2，残差样本构建流程包括：
S1201、将所述第一图像样本分解成对应不同方向分量的多个子图像；
S1202、根据所述子图像和所述第二图像样本计算得到对应的残差图像；
S1203、以各个所述残差图像构建残差样本，所述残差图像表示所述子图像与所述第二图像样本在对应方向分量的差异。
具体的，对于高分辨率的第一图像样本y，将第一图像样本y分解成m2对应不同方向分量的子图像yi。其中m是图像的超分辨率放大倍数,各个子图像yi是在第一图像样本的行列中按每隔m个像素点进行取值。
进一步的，基于已分解的子图像yi，通过该子图像yi和第二图像样本计算得到残差图像pi。
所述残差图像的计算公式为：
pi＝yi-x
其中，yi为所述第一图像样本的第i个子图像，x为所述第二图像样本，pi为对应的残差图像。残差图像表示第二图像样本与第一图像样本中各个方向分量的差异，其包含了各个方向所丢失的边缘和纹理等信息。基于该残差图像构建残差样本，卷积神经网络可以针对第二图像样本(即低分辨率图像)所丢失的高频信息来训练，移除对图像中低频信息的冗余重建。
更进一步的，以上述残差样本作为训练样本训练该残差网络模型。其中，基于所述残差样本训练所述残差网络模型的模型参数，并根据所述模型参数确定所述残差网络模型的目标训练函数。利用该残差样本通过卷积神经网络训练残差网络模型，得到对应的网络模型参数ω1和ω2。并利用训练完的残差网络模型将低分辨率图像重建成高分辨率图像。其中，基于训练好的网络模型参数ω1和ω2，将低分辨率图像输入残差网络模型中，并计算获得对应的m个残差图像。进而利用残差图像计算获得m个子图像yi，基于子图像yi变换各个子图像的空间位置，最终即可获得对应的高分辨率图像。
进一步的，基于该网络模型参数ω1和ω2，确定残差网络模型的训练目标函数。该残差网络模型的训练目标函数为:
其中，pi为对应的残差图像，m2为子图像分解数量，f(ω1,ω2,x0)为残差网络模型的预测结果，网络模型参数ω1和ω2分别为残差网络模型中的卷积模板参数和偏置参数，x0为模型输入。最终，基于残差网络模型的网络模型参数生成低分辨率图像(即模型输入x0)到高分辨率图像的映射关系，以此完成基于卷积神经网络的残差网络模型的训练。
S130、提取图像传感器实时采集的贴片图像，将所述贴片图像输入所述残差网络模型，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像。
完成残差网络模型构建之后，即可基于该残差网络模型进行图像的超分辨率重建。参照图3，提供本申请实施例贴片机的结构示意图，如图3所示，贴片机1包括贴片平台和图像传感器12，在进行贴片作业时，元器件在贴片平台11上进行贴片作业，并在贴片完成后，通过图像传感器12进行贴片图像采集。
基于实时采集的贴片图像，为了提升贴片检测的准确率，将其输入上述预先训练的残差网络模型进行贴片图像增强，得到模型重建的增强图像。参照图4，增强图像重建流程包括：
S1301、基于所述残差网络模型计算所述贴片图像所对应的贴片残差图像；
S1302、根据所述贴片残差图像计算获得对应的贴片子图像，并将所述贴片子图像进行空间位置变换重建对应的增强图像。
具体的，参照残差网络模型的构建流程，对应输入模型的贴片图像，通过残差网络模型计算出对应贴片图像的m个残差图像，定义这些残差图像为贴片残差图像。进一步利用贴片残差图像进行计算获得对应的m个贴片子图像，对贴片子图像进行相应的空间位置变换，即可获得对应该输入模型的贴片图像的高分辨率图像，即重建后的增强图像。可以理解的是，贴片残差图像表示贴片图像在高分辨率图像空间中各个不同方向的高频图像信息，具体包括图像边缘信息和纹理信息。则参照上述步骤S120分解子图像的方式，反向把各个贴片子图像的各个像素还原到高分辨率图像空间相应位置并重建图像，即可得到该增强图像，以此完成贴片图像的重建。
S140、基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果。
最终，基于该重建的增强图像，进行贴片检测，判断当前对应的贴片操作是否出现贴片误差。具体的，通过将所述增强图像输入预先训练的贴片检测识别模型，基于所述贴片检测识别模型判断所述增强图像是否出现贴片误差，输出对应的贴片检测结果。贴片检测识别模型通过检测增强图像的边缘特征，基于该边缘特征转换成边缘特征向量。将这一边缘特征向量比对预先设定的误差特征向量，若两个向量的相似度达到设定阈值，则认为当前增强图像出现了贴片误差。可以理解的是，误差特征向量表征了贴片作业过程中各类错误贴片图像的边缘特征，如若通过两个向量比对确定两者较为相似，即达到设定相似度阈值，则认为当前增强图像出现贴片误差。
在判断当前增强图像出现贴片误差之后，可以通过输出报警提示信号及时提示相关管理人员及时对贴片误差的情况进行更正，以此来保障贴片机的正常运行，优化贴片作业效果。
在一个实施例中，还使用第二深度神经网络模型验证所述贴片检测结果，所述第二深度神经网络模型基于正常贴片的图像样本数据进行模型训练，并用于进行所述增强图像的贴片检测。现有技术基于深度神经网络模型进行图像异常检测的实施方式有很多，本申请实施例在此不多赘述。可以理解的是，本申请实施例第二深度神经网络模型基于正常贴片的图像样本数据进行模型训练，其可以识别检测正常贴片的贴片图像，当其检测到增强图像的图像特征与正常贴片的贴片图像不符时，则判断当前增强图像贴片异常，反之，则判断当前增强图像贴片正常。通过第二深度神经网络模型验证上述贴片检测识别模型的贴片检测结果，可以进一步提升贴片检测精度，优化贴片检测效果。
上述，通过获取图像样本，基于图像样本构建残差样本，并基于残差样本通过卷积神经网络训练得到残差网络模型，提取图像传感器实时采集的贴片图像，将贴片图像输入残差网络模型，基于残差网络模型对贴片图像进行重建得到对应的增强图像，基于增强图像进行贴片检测识别，输出对应的贴片检测结果。采用上述技术手段，通过对贴片图像进行有效增强，提升贴片图像的分辨率，进而提升贴片图像识别检测效率和准确率，优化识别检测效果。并且，本申请实施例通过第二深度神经网络模型验证贴片检测结果，可以进一步提升贴片检测识别精度，优化贴片误差识别效果。
实施例二：
在上述实施例的基础上，图5为本申请实施例二提供的一种基于残差的贴片图像增强识别装置的结构示意图。参考图5，本实施例提供的基于残差的贴片图像增强识别装置具体包括：获取模块21、训练模块22、提取模块23和检测模块24。
其中，获取模块21用于获取图像样本，所述图像样本包括对应不同拍摄条件拍摄贴片作业的第一图像样本和对应的第二图像样本；
训练模块22用于基于所述图像样本构建残差样本，并基于所述残差样本通过卷积神经网络训练得到残差网络模型；
提取模块23用于提取图像传感器实时采集的贴片图像，将所述贴片图像输入所述残差网络模型，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像；
检测模块24用于基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果。
上述，通过获取图像样本，基于图像样本构建残差样本，并基于残差样本通过卷积神经网络训练得到残差网络模型，提取图像传感器实时采集的贴片图像，将贴片图像输入残差网络模型，基于残差网络模型对贴片图像进行重建得到对应的增强图像，基于增强图像进行贴片检测识别，输出对应的贴片检测结果。采用上述技术手段，通过对贴片图像进行有效增强，提升贴片图像的分辨率，进而提升贴片图像识别检测效率和准确率，优化识别检测效果。并且，本申请实施例通过第二深度神经网络模型验证贴片检测结果，可以进一步提升贴片检测识别精度，优化贴片误差识别效果。
本申请实施例二提供的基于残差的贴片图像增强识别装置可以用于执行上述实施例一提供的基于残差的贴片图像增强识别方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，参照图6，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于残差的贴片图像增强识别方法对应的程序指令/模块(例如，基于残差的贴片图像增强识别装置中的获取模块、训练模块、提取模块和检测模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于残差的贴片图像增强识别方法。
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的基于残差的贴片图像增强识别方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于残差的贴片图像增强识别方法，该基于残差的贴片图像增强识别方法包括：获取图像样本，所述图像样本包括对应不同拍摄条件拍摄贴片作业的第一图像样本和对应的第二图像样本；基于所述图像样本构建残差样本，并基于所述残差样本通过卷积神经网络训练得到残差网络模型；提取图像传感器实时采集的贴片图像，将所述贴片图像输入所述残差网络模型，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像；基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于残差的贴片图像增强识别方法，还可以执行本申请任意实施例所提供的基于残差的贴片图像增强识别方法中的相关操作。
上述实施例中提供的基于残差的贴片图像增强识别装置、存储介质及电子设备可执行本申请任意实施例所提供的基于残差的贴片图像增强识别方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于残差的贴片图像增强识别方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种基于残差的贴片图像增强识别方法，其特征在于，包括：
获取图像样本，所述图像样本包括对应不同拍摄条件拍摄贴片作业的第一图像样本和对应的第二图像样本；
基于所述图像样本构建残差样本，并基于所述残差样本通过卷积神经网络训练得到残差网络模型；
提取图像传感器实时采集的贴片图像，将所述贴片图像输入所述残差网络模型，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像；
基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果。
2.根据权利要求1所述的基于残差的贴片图像增强识别方法，其特征在于，基于所述图像样本构建残差样本，包括：
将所述第一图像样本分解成对应不同方向分量的多个子图像；
根据所述子图像和所述第二图像样本计算得到对应的残差图像；
以各个所述残差图像构建残差样本，所述残差图像表示所述子图像与所述第二图像样本在对应方向分量的差异。
3.根据权利要求2所述的基于残差的贴片图像增强识别方法，其特征在于，所述残差图像的计算公式为：
pi＝yi-x
其中，yi为所述第一图像样本的第i个子图像，x为所述第二图像样本，pi为对应的残差图像。
4.根据权利要求1所述的基于残差的贴片图像增强识别方法，其特征在于，基于所述残差样本通过卷积神经网络训练得到残差网络模型，包括：
基于所述残差样本训练所述残差网络模型的模型参数，并根据所述模型参数确定所述残差网络模型的目标训练函数。
5.根据权利要求1所述的基于残差的贴片图像增强识别方法，其特征在于，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像，包括：
基于所述残差网络模型计算所述贴片图像所对应的贴片残差图像；
根据所述贴片残差图像计算获得对应的贴片子图像，并将所述贴片子图像进行空间位置变换重建对应的增强图像。
6.根据权利要求1所述的基于残差的贴片图像增强识别方法，其特征在于，基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果，包括：
将所述增强图像输入预先训练的贴片检测识别模型，基于所述贴片检测识别模型判断所述增强图像是否出现贴片误差，输出对应的贴片检测结果。
7.根据权利要求1所述的基于残差的贴片图像增强识别方法，其特征在于，基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果之后，包括：
使用第二深度神经网络模型验证所述贴片检测结果，所述第二深度神经网络模型基于正常贴片的图像样本数据进行模型训练，并用于进行所述增强图像的贴片检测。
8.一种基于残差的贴片图像增强识别装置，其特征在于，包括：
获取模块，用于获取图像样本，所述图像样本包括对应不同拍摄条件拍摄贴片作业的第一图像样本和对应的第二图像样本；
训练模块，用于基于所述图像样本构建残差样本，并基于所述残差样本通过卷积神经网络训练得到残差网络模型；
提取模块，用于提取图像传感器实时采集的贴片图像，将所述贴片图像输入所述残差网络模型，基于所述残差网络模型对所述贴片图像进行重建得到对应的增强图像；
检测模块，用于基于所述增强图像进行贴片检测识别，输出对应的贴片检测结果。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的基于残差的贴片图像增强识别方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的基于残差的贴片图像增强识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011488963.2A CN112508789A (zh) | 2020-12-16 | 2020-12-16 | 一种基于残差的贴片图像增强识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011488963.2A CN112508789A (zh) | 2020-12-16 | 2020-12-16 | 一种基于残差的贴片图像增强识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112508789A true CN112508789A (zh) | 2021-03-16 |
Family
ID=74972838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011488963.2A Pending CN112508789A (zh) | 2020-12-16 | 2020-12-16 | 一种基于残差的贴片图像增强识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508789A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372984A (zh) * | 2022-03-22 | 2022-04-19 | 南京熊猫电子制造有限公司 | 一种超分辨率元器件角度识别装置及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN109738455A (zh) * | 2019-02-28 | 2019-05-10 | 燊赛(上海)智能科技有限公司 | 一种基于深度学习的封装带检测系统及交互控制方法 |
| CN109752393A (zh) * | 2018-12-26 | 2019-05-14 | 五邑大学 | 一种基于图像特征的贴片电阻型号检测方法及其装置 |
| CN110837860A (zh) * | 2019-11-06 | 2020-02-25 | 惠州皓赛技术有限公司 | 基于深度学习的贴片检测方法及相关系统 |
| CN111145175A (zh) * | 2020-01-10 | 2020-05-12 | 惠州光弘科技股份有限公司 | 一种基于iForest模型验证的SMT焊点缺陷检测方法 |
| CN111383173A (zh) * | 2020-02-12 | 2020-07-07 | 山东师范大学 | 一种基于基线的图像超分辨率重建方法及系统 |
| CN111784777A (zh) * | 2020-07-09 | 2020-10-16 | 千顺智能(珠海)有限公司 | 基于卷积神经网络的smt物料数量统计方法及统计系统 |
| CN111899241A (zh) * | 2020-07-28 | 2020-11-06 | 华中科技大学 | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 |
-
2020
- 2020-12-16 CN CN202011488963.2A patent/CN112508789A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN109752393A (zh) * | 2018-12-26 | 2019-05-14 | 五邑大学 | 一种基于图像特征的贴片电阻型号检测方法及其装置 |
| CN109738455A (zh) * | 2019-02-28 | 2019-05-10 | 燊赛(上海)智能科技有限公司 | 一种基于深度学习的封装带检测系统及交互控制方法 |
| CN110837860A (zh) * | 2019-11-06 | 2020-02-25 | 惠州皓赛技术有限公司 | 基于深度学习的贴片检测方法及相关系统 |
| CN111145175A (zh) * | 2020-01-10 | 2020-05-12 | 惠州光弘科技股份有限公司 | 一种基于iForest模型验证的SMT焊点缺陷检测方法 |
| CN111383173A (zh) * | 2020-02-12 | 2020-07-07 | 山东师范大学 | 一种基于基线的图像超分辨率重建方法及系统 |
| CN111784777A (zh) * | 2020-07-09 | 2020-10-16 | 千顺智能(珠海)有限公司 | 基于卷积神经网络的smt物料数量统计方法及统计系统 |
| CN111899241A (zh) * | 2020-07-28 | 2020-11-06 | 华中科技大学 | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 周颖等: "基于图像处理的焊点缺陷识别方法的研究", 《计算机工程与应用》, vol. 49, no. 01, 31 December 2013 (2013-12-31), pages 240 - 241 * |
| 李洋等: "SMT模板检测系统及误差校正方法", 《电子测量与仪器学报》, vol. 30, no. 10, 31 October 2016 (2016-10-31), pages 1469 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372984A (zh) * | 2022-03-22 | 2022-04-19 | 南京熊猫电子制造有限公司 | 一种超分辨率元器件角度识别装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764048B (zh) | 人脸关键点检测方法及装置 | |
| CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN110807491A (zh) | 车牌图像清晰度模型训练方法、清晰度检测方法及装置 | |
| CN110211046B (zh) | 一种基于生成对抗网络的遥感图像融合方法、系统和终端 | |
| CN113592923B (zh) | 一种基于深度局部特征匹配的批图像配准方法 | |
| CN112308128A (zh) | 一种基于注意力机制神经网络的图像匹配方法 | |
| CN110334775B (zh) | 一种基于宽度学习的无人机线路故障识别方法和装置 | |
| CN112508789A (zh) | 一种基于残差的贴片图像增强识别方法及装置 | |
| CN112815936B (zh) | 一种对噪点鲁棒的快速全天域星图识别方法及系统 | |
| CN113673515A (zh) | 一种计算机视觉目标检测算法 | |
| CN105389812A (zh) | 基于计算机视觉的车载信息终端功能自动测试方法 | |
| CN116524382A (zh) | 一种桥梁转体合拢准确性检验方法系统、设备 | |
| CN112529883A (zh) | 一种基于图像边缘识别的贴片检测方法及装置 | |
| CN112308061B (zh) | 一种车牌字符识别方法及装置 | |
| Flewelling et al. | Information theoretic weighting for robust star centroiding | |
| CN114241044A (zh) | 回环检测方法、装置、电子设备和计算机可读介质 | |
| CN110223250B (zh) | 基于单应变换的sar几何校正方法 | |
| CN113033578A (zh) | 基于多尺度特征匹配的图像校准方法、系统、终端及介质 | |
| CN109242894B (zh) | 一种基于移动最小二乘法的图像对齐方法及系统 | |
| CN108921015B (zh) | 基于递归结构车载单目摄像头下行人目标校验算法及系统 | |
| CN108764110B (zh) | 基于hog特征行人检测器的递归错检校验方法、系统及设备 | |
| CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
| CN106446760A (zh) | 用于粗糙到精细的基于脊的生物测量图像对准的系统和方法 | |
| CN111093140A (zh) | 检测麦克和听筒防尘网缺陷的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |