CN114092440A - 基于视觉的印刷电路板非标准元件识别定位方法及系统 - Google Patents

基于视觉的印刷电路板非标准元件识别定位方法及系统 Download PDF

Info

Publication number
CN114092440A
CN114092440A CN202111382915.XA CN202111382915A CN114092440A CN 114092440 A CN114092440 A CN 114092440A CN 202111382915 A CN202111382915 A CN 202111382915A CN 114092440 A CN114092440 A CN 114092440A
Authority
CN
China
Prior art keywords
positioning
image
circuit board
printed circuit
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111382915.XA
Other languages
English (en)
Inventor
杨同兴
陈希立
赵江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING BRIO ELECTRONIC TECHNOLOGY CO LTD
Original Assignee
BEIJING BRIO ELECTRONIC TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING BRIO ELECTRONIC TECHNOLOGY CO LTD filed Critical BEIJING BRIO ELECTRONIC TECHNOLOGY CO LTD
Priority to CN202111382915.XA priority Critical patent/CN114092440A/zh
Publication of CN114092440A publication Critical patent/CN114092440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种基于视觉的印刷电路板非标准元件识别定位方法及系统，所述方法包括以下步骤：采集图像数据，并进行预处理；构建所述印刷电路板非标准元件的定位神经网络模型，并利用所采集并预处理后的多组样本图像训练所述定位神经网络模型；利用训练完成的所述定位神经网络模型，对所述印刷电路板非标准元件进行识别定位。本发明采用多个分层的神经网络模型对印刷电路板图像进行建模，通过设计神经网络相邻层次之间神经元的连接方式和连接权重建立具有非标准元件识别和定位能力的网络模型，能够自动从包含印刷电路板、非标准电子元件的图像或视频中定位非标准电子元件的轮廓区域，具备较高的定位精度和定位速度，实现更高的定位性能。

Description

基于视觉的印刷电路板非标准元件识别定位方法及系统
技术领域
本发明涉及计算机技术、控制技术与人工智能技术结合的机器视觉、机器学习及图像分析技术领域，具体而言，涉及一种基于视觉的印刷电路板非标准元件识别定位方法及系统。
背景技术
近年来，随着电子芯片工业的飞速发展，为世界经济和社会带来了深远的影响，电子芯片的轻型化、多样化越来越成为未来发展的方向。在电子芯片工业中，电子芯片组装技术是必不可少的关键技术，其主要任务在于将实现各种特定功能的电子芯片和元件安装到印刷电路板上，实现电子芯片的组装和集成，并产出终端电子产品。电子贴装设备可以对标准化电子元件实现自动化组装，但由于非标准的异形元件种类多，尺寸外形差别大，单件使用率比较低，因此，针对非标准元件的自动组装一直是业内期待攻克的难题。
而电子元件定位是电子芯片元件自动插装的关键步骤，是实现高精度电子元件自动化组装生产线的基础，有效解决电子元件的定位问题可大大提高电子元件组装效率，降低组装成本，具有很高的工业价值。
在现有技术中，针对于印刷电路板非标准元件的定位方法通常采用曲线拟合、边缘检测、模板匹配方法。其中，曲线拟合通常需要对元件轮廓的先验知识，以据此确定曲线方程的次数和项数；边缘检测方法容易受到元件或电路板上复杂图像纹理的干扰；而模板匹配方法对图像质量要求较高，如果元件图像出现污损或拍摄模糊，较容易出现定位偏差。上述方法虽各有特点，但各自都存在一定问题，不能实现较高的定位性能。
发明内容
本说明书提供一种基于视觉的印刷电路板非标准元件识别定位方法及系统，用以克服现有技术中存在的至少一个技术问题。
第一方面，根据本说明书实施例，提供了一种基于视觉的印刷电路板非标准元件识别定位方法，所述方法包括以下步骤：
采集图像数据，并进行预处理：
获取包含完整的未安装元件的电路板和元件插槽的输入图像Input，采集输入图像数据；
获取包含完整的已安装元件的待作业参照电路板的参考图像Reference，采集参考图像数据；所述参考图像的通道数与所述输入图像的通道数相一致；
对所采集的所述输入图像、参考图像分别进行色彩空间转换的预处理操作，得到预处理后的输入图像Input′以及预处理后的参考图像Reference′；
构建所述印刷电路板非标准元件的定位神经网络模型，并利用所采集并预处理后的多组样本图像训练所述定位神经网络模型：
预处理后的所述输入图像Input′、参考图像Reference′作为一组样本图像；
构建所述定位神经网络模型；所述定位神经网络模型包括一层输入层、六层隐藏层及一层输出层；
每组所述样本图像作为所述定位神经网络模型的输入层，与样本图像组中所述输入图像对应的元件安装标记作为模型输出层，代入所述定位神经网络模型，采用反向传播算法对所述定位神经网络模型进行训练；
利用训练完成的所述定位神经网络模型，对所述印刷电路板非标准元件进行识别定位：
当给出一张需定位的未安装元件的印刷电路板时，从样本库中任意取出一张已安装元件的印刷电路板；
采集所述需定位的未安装元件的印刷电路板的待识别定位图像及所述已安装元件的印刷电路板的样本参照图像；其中，所述待识别定位图像的通道数与所述样本参照图像的通道数相一致；
将所述待识别定位图像、样本参照图像分别作为输入图像Input、参考图像Reference输入训练完成的所述定位神经网络模型，并根据所述定位神经网络模型的输出定位所述需定位的未安装元件的印刷电路板的非标准元件位置。
可选地，所述输入图像Input＝[R1，G1，B1]，所述参考图像Reference＝[R2，G2，B2]；所述对所采集的所述输入图像、参考图像分别进行色彩空间转换的预处理操作，得到预处理后的输入图像Input′以及预处理后的参考图像Reference′具体包括：
采用几何推导法将所述输入图像、参考图像从RGB空间转换至HSI空间，得到所述输入图像转换后的三个通道数据I1、S1、H1及所述参考图像转换后的三个通道数据I2、S2、H2；
对所述输入图像转换后的三个通道及所述参考图像转换后的三个通道分别进行二维卷积滤波处理，得到预处理后的输入图像Input′、参考图像Reference′；其二维卷积滤波处理过程为：
Figure BDA0003366278640000031
Figure BDA0003366278640000032
式(1)和式(2)中，KI、KS分别为对I、S通道采用的卷积核。
进一步可选地，所述卷积核
Figure BDA0003366278640000033
进一步可选地，所述定位神经网络模型的输入层的节点定义为由
Figure BDA0003366278640000034
与
Figure BDA0003366278640000035
共同组成，第一隐藏层的节点定义为由
Figure BDA0003366278640000036
与
Figure BDA0003366278640000037
共同组成，第二隐藏层的节点定义为由
Figure BDA0003366278640000041
与
Figure BDA0003366278640000042
共同组成，第三隐藏层的节点定义为由
Figure BDA0003366278640000043
与
Figure BDA0003366278640000044
共同组成，第四隐藏层的节点定义为由
Figure BDA0003366278640000045
与
Figure BDA0003366278640000046
共同组成，第五隐藏层的节点定义为由
Figure BDA0003366278640000047
与
Figure BDA0003366278640000048
共同组成，第六隐藏层的节点定义为由
Figure BDA0003366278640000049
与
Figure BDA00033662786400000410
共同组成，输出层定义为
Figure BDA00033662786400000411
其中，
Figure BDA00033662786400000412
Figure BDA00033662786400000413
式(3)和式(4)中，
Figure BDA00033662786400000414
表示输入层中与所述预处理后的输入图像Input′相关部分的节点；
Figure BDA00033662786400000415
表示输入层中与所述预处理后的参考图像Reference′相关部分的节点；c＝1，2，3表示所述预处理后的输入图像Input′、参考图像Reference′的三个通道；(x,y)表示二维图像中的坐标；
Figure BDA00033662786400000416
Figure BDA00033662786400000417
式(5)和式(6)中，
Figure BDA00033662786400000418
表示输入层中相应坐标的节点；
Figure BDA00033662786400000419
表示输入层中相应坐标的节点；
Figure BDA00033662786400000420
为对应于通道c(c＝1，2，3)的卷积窗口；p、q表示卷积窗口中位置的正整数坐标；b0为线性偏置量；σ(·)为激励函数；
Figure BDA00033662786400000421
Figure BDA00033662786400000422
式(7)和式(8)中，
Figure BDA00033662786400000423
表示第一隐藏层中相应坐标的节点；
Figure BDA00033662786400000424
表示第一隐藏层中相应坐标的节点；
Figure BDA00033662786400000425
为对应于通道c(c＝1，2，3)的卷积窗口；p、q表示卷积窗口中位置的正整数坐标；b1为线性偏置量；σ(·)为激励函数；
Figure BDA0003366278640000051
Figure BDA0003366278640000052
式(9)和式(10)中，
Figure BDA0003366278640000053
表示第二隐藏层中相应坐标的节点；
Figure BDA0003366278640000054
表示第二隐藏层中相应坐标的节点；max、min分别表示在以(4x，4y)为中心的窗口范围内取所有像素的最小值；p、q表示窗口中位置的正整数坐标；b2为线性偏置量；σ(·)为激励函数；
Figure BDA0003366278640000055
Figure BDA0003366278640000056
式(11)和式(12)中，
Figure BDA0003366278640000057
表示第三隐藏层中相应坐标的节点；
Figure BDA0003366278640000058
表示第三隐藏层中相应坐标的节点；max、min分别表示在以(4x，4y)为中心的窗口范围内取所有像素的最小值；p、q表示窗口中位置的正整数坐标；b3为线性偏置量；σ(·)为激励函数；
Figure BDA0003366278640000059
Figure BDA00033662786400000510
式(13)和式(14)中，
Figure BDA00033662786400000511
表示第四隐藏层中相应坐标的节点；
Figure BDA00033662786400000512
表示第四隐藏层中相应坐标的节点；
Figure BDA00033662786400000513
为对应于通道c(c＝1，2，3)的卷积窗口；p、q表示卷积窗口中位置的正整数坐标；b4为线性偏置量；σ(·)为激励函数；
Figure BDA0003366278640000061
Figure BDA0003366278640000062
式(15)和式(16)中，
Figure BDA0003366278640000063
表示第五隐藏层中相应坐标的节点；
Figure BDA0003366278640000064
表示第五隐藏层中相应坐标的节点；W表示卷积窗口一个通道下的像素总数；p、q表示卷积窗口中位置的正整数坐标；b5为线性偏置量；σ(·)为激励函数；
Figure BDA0003366278640000065
式(17)中，p、q表示位置的正整数坐标，取值为第六隐藏层的节点范围；c表示通道数(c＝1，2，3)；d表示前一层的节点属于u6或v6部分，当d＝1时，
Figure BDA0003366278640000066
当d＝2时，
Figure BDA0003366278640000067
Figure BDA0003366278640000068
表示第六隐藏层中相应节点；b6为线性偏置量；σ(·)为激励函数；
Figure BDA0003366278640000069
为与节点
Figure BDA00033662786400000610
对应的独立权值。
再进一步可选地，所述激励函数σ(·)定义为：
Figure BDA00033662786400000611
式(18)中，参数α用于调整函数的收敛速度。
再进一步可选地，所述采用反向传播算法对所述定位神经网络模型进行训练具体包括：
采用反向传播算法对所述定位神经网络模型进行训练，确定式(5)–(17)中的权值w1、w2、w5、w6、b0、b1、b2、b3、b4、b5、b6。
再进一步可选地，所述根据所述定位神经网络模型的输出定位所述需定位的未安装元件的印刷电路板的非标准元件位置具体包括：
所述定位神经网络模型识别输入并输出一组二维矩阵
Figure BDA00033662786400000612
所述二维矩阵
Figure BDA00033662786400000613
的尺寸与所述待识别定位图像的尺寸相同；
根据所述二维矩阵
Figure BDA0003366278640000071
中位置像素的取值判断该位置是否为元件；
所有的元件位置像素的集合作为非标准元件定位的输出结果。
可选地，所述输入图像、参考图像均为灰度单通道图像，或所述输入图像、参考图像均为彩色三通道图像。
第二方面，根据本说明书实施例，提供了一种基于视觉的印刷电路板非标准元件识别定位系统，所述系统用于实现上述第一方面所述的基于视觉的印刷电路板非标准元件识别定位方法；所述系统包括：
数据采集模块，用于采集样本图像，获取图像数据；
预处理模块，用于对所采集的所述样本图像进行预处理；
神经网络模型模块，用于构建定位神经网络模型，并利用预处理后的多组样本图像训练所述定位神经网络模型；
识别定位模块，用于根据训练好的定位神经网络模型对印刷电路板非标准元件进行识别定位。
本说明书实施例的有益效果如下：
该印刷电路板非标准元件识别定位方法通过拍摄印刷电路板的图像或者视频，并通过采取机器视觉、机器学习等技术，识别、确定非标准元件在印刷电路板上的轮廓区域，实现印刷电路板非标准元件的定位，以解决非标准元件在印刷电路板上的识别和自动定位问题。
该印刷电路板非标准元件识别定位方法采用多个分层的神经网络模型对印刷电路板图像进行建模，通过设计神经网络相邻层次之间神经元的连接方式和连接权重建立具有非标准元件识别和定位能力的神经网络模型，并对该神经网络模型进行训练，利用训练好的神经网络模型对印刷电路板非标准元件识别并输出定位结果，定位准确率更高，误报率更低，可实现自动从包含印刷电路板、非标准电子元件的图像或视频中定位非标准电子元件的轮廓区域，具备较高的定位精度和定位速度，提高了电子元件的组装效率，且在自动运行效果不佳的图像污损、模糊，光照、纹理干扰等复杂环境下，能够实现更高的定位性能，并能够充分利用印刷电路板图像的先验信息，大大降低了现有技术中对非标准元件本身轮廓先验的依赖，适用于任意轮廓的非标准元件和标准元件，适用性强，降低了组装成本。此外，该印刷电路板非标准元件识别定位方法对输入的图像或视频的大小尺寸没有严格要求，可以使用任何的图像尺寸，并可适用于彩色RGB图像或灰度单通道图像，适应性更强。
本说明书实施例的创新点包括：
1、本实施例中，通过设计神经网络相邻层次之间神经元的连接方式和连接权重搭建多个分层的神经网络模型，并利用多组样本图像对其进行训练，使训练完的神经网络模型具有非标准元件识别和定位能力，只需将通道数相同的待识别定位图像和相应的样本图像输入训练完的神经网络模型，便可输出一组尺寸为输入图像尺寸的二维矩阵，通过矩阵中元素值的大小判断对应图像位置像素是否为元件，所有位置像素为元件的像素集合便为非标准元件的定位结果，定位准确率更高，误报率更低。
2、本实施例中，由于该印刷电路板非标准元件识别定位方法是通过对图像中位置像素进行定位判断的，从而能够自动从包含印刷电路板、非标准电子元件的图像或视频中定位非标准电子元件的轮廓区域，具备较高的定位精度，且通过训练好的模型进行判断，效率更高，定位速度更快，即使在自动运行效果不佳的图像污损、模糊，光照、纹理干扰等复杂环境下，也能够实现更高的定位性能。
3、本实施例中，该印刷电路板非标准元件识别定位方法中的神经网络模型通过预处理后的图像数据进行训练，最大限度的降低了光照、运动等噪声，提供了良好的输入数据源，能够充分利用印刷电路板图像的先验信息，大大降低了现有技术中对非标准元件本身轮廓先验的依赖，适用于任意轮廓的非标准元件和标准元件，适用性强，降低了组装成本。
4、本实施例中，由于该印刷电路板非标准元件识别定位方法对图像的处理方式是将其转换到HIS空间，对于图像的尺寸大小没有任何限制，故对输入的图像或视频的大小尺寸没有严格要求，解决了部分传统方法要求模板被裁剪为指定尺寸大小的问题，可以使用任何的图像尺寸，适应性强。
5、本实施例中，为便于凸显图像中不同目标的差异性，需将所采集的图像都转换到HIS空间，故而本印刷电路板非标准元件识别定位方法适用于彩色RGB图像或灰度单通道图像，在具体应用过程中，可根据实际应用情况做出更合适的选择，解决了彩色RGB图像、灰度单通道图像不兼容的问题，适用性更强。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的基于视觉的印刷电路板非标准元件识别定位方法中采集图像数据过程的设备及印刷电路板的布局示意图；
图2为本说明书实施例提供的基于视觉的印刷电路板非标准元件识别定位方法中所涉及的定位神经网络模型示意图；
图3为本说明书实施例提供的基于视觉的印刷电路板非标准元件识别定位系统的结构框图；
附图标记说明：1为拍摄装置、2为样本图像、3为印刷电路板、4为元件、5为数据采集模块、6为预处理模块、7为神经网络模型模块、8为识别定位模块。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本说明书实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本说明书实施例公开了一种基于视觉的印刷电路板非标准元件识别定位方法。该印刷电路板非标准元件识别定位方法包括以下步骤：
步骤1、采集图像数据，并进行预处理；
步骤2、构建所述印刷电路板非标准元件的定位神经网络模型，并利用所采集并预处理后的多组样本图像训练所述定位神经网络模型；
步骤3、利用训练完成的所述定位神经网络模型，对所述印刷电路板非标准元件进行识别定位。
以下对上述步骤分别进行详细说明。
步骤1、采集图像数据，并进行预处理。
即印刷电路板非标准元件输入图像数据的采集和预处理，指使用单台摄像机拍摄印刷电路板的图像或视频，完成输入图像数据的采集，并对输入图像数据进行元件定位前的预处理。图像数据的采集和预处理作为一般图像处理和机器视觉任务的首要步骤，具有较为关键的作用，且预处理和图像采集方法通常搭配设计，以最大限度降低现实世界中如光照、运动等带来的噪声，为后面步骤中的机器视觉任务提供良好的输入数据源。
需要注意并理解的是，本说明书实施例中所述的单台摄像机拍摄的图像或视频，在步骤1、2、3中使用时，均以“张”(图像)或“帧”(视频)为基本单位，后文所述“图像”或“视频”作为处理数据的指代时，两种说法是等价的，指一个基本单位的数据。单张/帧数据包括三个通道R、G、B，一般指彩色图像，在图像处理领域通常与灰度图像(单通道)相对应。本说明书实施例所述方法也适用于单通道的灰度图像，根据后面方法所述进行适配。
步骤1.1、获取包含完整的未安装元件的电路板和元件插槽的输入图像Input，采集输入图像数据。
输入图像数据的采集，是指使用单台摄像机拍摄一张图像，或者从摄像机采集到的视频中截取完整的一帧图像，用作输入图像数据。当输入图像数据为彩色三通道时，记为Input＝[R1,G1，B1]，当输入图像数据为灰度单通道时，记为Input＝[I1]。其中，上述表达中每个字母代表一个通道。
采集到的图像应当包含电路板和元件插槽的全部。此外，作为一种优化选项，如图1所示，拍摄时拍摄装置1可以适当远离印刷电路板3，尽量使印刷电路板3成像位于样本图像2的中心区域，远离图像边缘，并围绕拍摄装置1光轴对称，减少镜头畸变等带来的不利影响，元件4位于印刷电路板3上。但这不是本发明方法成立的必要条件，只要印刷电路板3成像完整处于拍摄装置1图像内，本发明中的印刷电路板非标准元件识别定位方法即可实现。
步骤1.2、获取包含完整的已安装元件的待作业参照电路板的参考图像Reference，采集参考图像数据。
参考图像数据的采集，是指另外准备一块与待作业电路板相同，但已经安装好需要安装的元件的电路板(除了已安装好元件，其它条件均相同)，并参照步骤1.1中所述的方式拍摄一张图像，所拍摄图像通道数与步骤1.1中所拍摄图像通道数一致，用作参考图像数据。当输入图像数据为彩色三通道时，参考图像数据记为Reference＝[R2,G2,B2]，当输入图像数据为灰度单通道时，记为Reference＝[I2]。
步骤1.3、对所采集的所述输入图像、参考图像分别进行色彩空间转换的预处理操作，得到预处理后的输入图像Input′以及预处理后的参考图像Reference′。
在本说明书实施例中，本步骤对输入图像数据与参考图像数据的预处理方法和步骤是完全一致的，因此仅以输入图像数据Input为例介绍预处理方法。
步骤1.3.1采用几何推导法将输入图像从RGB空间转换至HSI空间，以便更加凸显图像中不同目标的差异性。假设图像单通道的取值范围为[0,1]，几何推导法的公式如下：
Figure BDA0003366278640000121
Figure BDA0003366278640000122
Figure BDA0003366278640000123
上述式(20)中，min表示三者取最小值；式(21)中θ的定义如下：
Figure BDA0003366278640000124
式(22)中，cos-1表示反三角余弦函数。
当输入为单通道时，仅有I1通道，本步骤1.3.1略去。
步骤1.3.2、对三个通道分别进行二维卷积滤波。
其中，对I1通道采用的卷积核KI为一近似高斯核，其目的是为去除灰度通道中的噪声：
Figure BDA0003366278640000131
对S1通道采用的卷积核KS为一均值函数，其目的是为了抑制S通道中的区域过饱和现象：
Figure BDA0003366278640000132
对通道H1不应用卷积核。
经过步骤1.3.1、1.3.2预处理后的输入图像为Input′，其各通道为：
Figure BDA0003366278640000133
其中，
Figure BDA0003366278640000134
为卷积符号。相应的参考图像变为：
Figure BDA0003366278640000135
I2、S2、H2为依照(19)–(21)对参数图像Reference进行空间转换后获得的结果。当输入数据为单通道时，Input′、Reference′仅保留第一组I通道。
步骤2、构建所述印刷电路板非标准元件的定位神经网络模型，并利用所采集并预处理后的多组样本图像训练所述定位神经网络模型。
即印刷电路板非标准元件定位神经网络模型的构建及学习方法，以步骤1获得的预处理过的输入图像Input′、参考图像Reference′作为输入。每一张Input′和一张Reference′(三通道或单通道)作为一对对应，一同输入到定位神经网络模型中。定位神经网络模型的定义如下所述。
如图2所示，印刷电路板非标准元件的定位神经网络模型由由输入层、输出层和隐藏层组成。每一层包含若干节点，每个节点对应一个标量数据，又称为神经元。某一层的一个节点与其前一层的某一个节点存在一条连接，对应一个运算函数。相邻两层任意两个节点的连接并非必然存在，但任一层的任一个节点必须至少与其前一层的某一个节点存在连接；如果一层的每个节点都与其前一层的所有节点存在连接，则称该层为全连接层。输入层、输出层、隐藏层的关系为：输入层在隐藏层之前，隐藏层在输出层之前，并且隐藏层中可以递归包含多个层。
在本说明书实施例中，输入层为输入图像Input′、参考图像Reference′，输出层为标识元件位置的二维矩阵，与输入图像和参考图像的尺寸相同。隐藏层为模型的中间步骤。
S2.1定义：
Figure BDA0003366278640000141
式(3)中，
Figure BDA0003366278640000142
表示输入层中与预处理后的输入图像Input′相关部分的节点，其中，c＝1，2，3表示所述预处理后的输入图像Input′的三个通道；(x,y)表示二维图像中的坐标。
Figure BDA0003366278640000143
式(4)中，
Figure BDA0003366278640000144
表示输入层中与所述预处理后的参考图像Reference′相关部分的节点，其中，c＝1，2，3表示所述预处理后的参考图像Reference′的三个通道；(x,y)表示二维图像中的坐标。
Figure BDA0003366278640000145
与
Figure BDA0003366278640000146
共同组成输入层的节点。可见，输入层由输入图像Input′、参考图像Reference′的所有通道的像素值组成。
S2.2定义：
Figure BDA0003366278640000147
式(5)中，
Figure BDA0003366278640000148
为对应于通道c(c＝1，2，3)的卷积窗口；p、q表示卷积窗口中位置的正整数坐标，在本说明书实施例中，
Figure BDA0003366278640000149
的窗口大小为7×7，表示
Figure BDA00033662786400001410
中p、q的取值范围为1到7；
Figure BDA00033662786400001411
的窗口大小为5×5；
Figure BDA00033662786400001412
的窗口大小为3×3；p、q取值范围随窗口大小相应变化；
Figure BDA0003366278640000151
表示输入层中相应坐标的节点；b0为线性偏置量；σ(·)为激励函数。
Figure BDA0003366278640000152
式(6)中，
Figure BDA0003366278640000153
表示输入层中相应坐标的节点；
Figure BDA0003366278640000154
b0的含义与式(5)相同。
Figure BDA0003366278640000155
与
Figure BDA0003366278640000156
共同组成第一隐藏层的节点。
S2.3定义：
Figure BDA0003366278640000157
式(7)中，
Figure BDA0003366278640000158
为对应于通道c(c＝1，2，3)的卷积窗口，p、q表示卷积窗口中位置的正整数坐标，在本说明书实施例中，
Figure BDA0003366278640000159
的窗口大小为5×5；
Figure BDA00033662786400001510
的窗口大小为3×3；
Figure BDA00033662786400001511
的窗口大小为3×3；p、q取值范围随窗口大小决定；
Figure BDA00033662786400001512
表示第一隐藏层中相应坐标的节点；b1为线性偏置量；σ(·)为激励函数。
Figure BDA00033662786400001513
式(8)中，
Figure BDA00033662786400001514
表示第一隐藏层中相应坐标的节点；
Figure BDA00033662786400001515
b1的含义与式(7)相同。
Figure BDA00033662786400001516
与
Figure BDA00033662786400001517
共同组成第二隐藏层的节点。
第一隐藏层与第二隐藏层两个卷积层，用于提取输入图像Input′与参考图像Reference′的微观尺度特征。
S2.4定义：
Figure BDA00033662786400001518
式(9)中，max、min分别表示在以(4x，4y)为中心的窗口范围内取所有像素的最小值；p、q表示窗口中位置的正整数坐标；在本说明书实施例中，max、min的窗口大小为4×4；p、q取值范围为[1,4]；
Figure BDA0003366278640000161
表示第二隐藏层中相应坐标的节点；b2为线性偏置量；σ(·)为激励函数。
Figure BDA0003366278640000162
式(10)中，
Figure BDA0003366278640000163
表示第二隐藏层中相应坐标的节点；max、min、b2的含义与式(9)相同。
Figure BDA0003366278640000164
与
Figure BDA0003366278640000165
共同组成第三隐藏层的节点。根据定义，第三隐藏层的节点大约是第二隐藏层节点数的1/16。
S2.5定义：
Figure BDA0003366278640000166
式(11)中，max、min分别表示在以(4x，4y)为中心的窗口范围内取所有像素的最小值，p、q表示窗口中位置的正整数坐标；在本说明书实施例中，max、min的窗口大小为4x4；p、q取值范围为[1,4]；
Figure BDA0003366278640000167
表示第三隐藏层中相应坐标的节点；b3为线性偏置量；σ(·)为激励函数。
Figure BDA0003366278640000168
式(12)中，
Figure BDA0003366278640000169
表示第三隐藏层中相应坐标的节点；max、min、b3的含义与式(11)相同。
Figure BDA00033662786400001610
与
Figure BDA00033662786400001611
共同组成第四隐藏层的节点。根据定义，第四隐藏层的节点大约是第三隐藏层节点数的1/16。
第三隐藏层与第四隐藏层主要起到的作用为：一是通过最大最小化去除噪声；二是改变图像的尺度，以便后续步骤提取不同尺度下的图像特征。
S2.6定义：
Figure BDA0003366278640000171
式(13)中，
Figure BDA0003366278640000172
为对应于通道c(c＝1，2，3)的卷积窗口，p、q表示卷积窗口中位置的正整数坐标，在本说明书实施例中，
Figure BDA0003366278640000173
的窗口大小为7×7；
Figure BDA0003366278640000174
的窗口大小为5×5；
Figure BDA0003366278640000175
的窗口大小为5×5；p、q取值范围随窗口大小决定；
Figure BDA0003366278640000176
表示第四隐藏层中相应坐标的节点；b4为线性偏置量；σ(·)为激励函数。
Figure BDA0003366278640000177
式(14)中，
Figure BDA0003366278640000178
表示第四隐藏层中相应坐标的节点；
Figure BDA0003366278640000179
b4的含义与式(13)相同。
Figure BDA00033662786400001710
与
Figure BDA00033662786400001711
共同组成第五隐藏层的节点。第五隐藏层的主要用途是提取输入图像Input′与参考图像Reference′在宏观尺度下的特征。
S2.7定义：
Figure BDA00033662786400001712
式(15)中，W表示卷积窗口一个通道下的像素总数(此处卷积窗口权值均为1，相当于对卷积窗口内的像素求均值)，p、q表示卷积窗口中位置的正整数坐标，此处卷积窗口为4×4，p、q取值范围为[1,4]；
Figure BDA00033662786400001713
表示第五隐藏层中相应坐标的节点；b5为线性偏置量；σ(·)为激励函数。
Figure BDA00033662786400001714
式(16)中，
Figure BDA00033662786400001715
表示第五隐藏层中相应坐标的节点；W、b5的含义与式(15)相同。
Figure BDA0003366278640000181
与
Figure BDA0003366278640000182
共同组成第六隐藏层的节点。需要说明的是，根据式(15)和式(16)，第六隐藏层缩减为第五隐藏层的1/16。
S2.8定义：
Figure BDA0003366278640000183
式(17)中，p、q表示位置的正整数坐标，取值为第六隐藏层的节点范围，c表示通道数(c＝1，2，3)；d表示前一层的节点属于u6或v6部分，当d＝1时，
Figure BDA0003366278640000184
当d＝2时，
Figure BDA0003366278640000185
Figure BDA0003366278640000186
表示第六隐藏层中相应节点；b6为线性偏置量；σ(·)为激励函数；
Figure BDA0003366278640000187
为与节点
Figure BDA0003366278640000188
对应的独立权值。由此可知，
Figure BDA0003366278640000189
所表示的是一个全连接层，与第六隐藏层的每一个节点都有连接。
需要说明的是，
Figure BDA00033662786400001810
与输入图像和参考图像单通道的尺寸相同，每个节点取值为0或1，取值为0时，表示该位置像素(对应于输入图像)不是元件；取值为1时，表示该位置像素属于元件的一部分。
Figure BDA00033662786400001811
中所有值为1的像素联合标记了非标准元件在输入图像中的位置。
Figure BDA00033662786400001812
记为定位神经网络模型的输出层。
其中，所述σ(·)称为激励函数，用于使网络具有对非线性数据集分类的能力。本说明书实施例中的激励函数σ(·)定义如下：
Figure BDA00033662786400001813
式(18)中，参数α用于调整函数的收敛速度。通过调整函数的收敛速度，有助于改善学习效果。
学习时，选取尚未安装元件的印刷电路板和安装好元件的印刷电路板若干块，并拍摄样本图像，每一组样本图像包括一张未安装元件的印刷电路板图像和一张安装好元件的印刷电路板图像，每张图像中只出现一块印刷电路板。优选的，可参照步骤1中所述的拍摄建议进行拍摄。
将前述每组样本图像作为定位神经网络模型的输入层，与样本图像组中输入图像(即未安装元件的印刷电路板图像)对应的元件安装标记(0或1)作为定位神经网络模型的输出层，代入定位神经网络模型，采用反向传播算法对定位神经网络模型进行训练，确定式(5)–(17)中的权值w1、w2、w5、w6、b0、b1、b2、b3、b4、b5、b6。训练完毕后，获得可用于识别的神经网络模型
Figure BDA0003366278640000193
从而完成定位神经网络模型的训练。
上述为本说明书实施例的创新点之一，通过设计神经网络相邻层次之间神经元的连接方式和连接权重搭建多个分层的神经网络模型，使神经网络模型具有非标准元件识别和定位的能力。
在本说明书实施例中，上述步骤对所述方法的描述按照三通道(c＝1,2,3)的情况进行描述，当样本为单通道图像时，参照相关步骤，并将关于c＝2、c＝3的部分舍去，不影响本说明书实施例方法的实施。
步骤3、利用训练完成的所述定位神经网络模型，对所述印刷电路板非标准元件进行识别定位。
即印刷电路板非标准元件识别、定位的具体过程，根据步骤2获得神经网络模型
Figure BDA0003366278640000194
当给出一张需要定位的未安装元件的印刷电路板，从样本库中任意取一张已安装元件的印刷电路板，作为一种优选，印刷电路板在两幅图像中的相对位置尽量一致。待识别定位图像的通道数与样本参照图像的通道数保持一致。将前述两张图像分别作为Input和Reference输入神经网络模型
Figure BDA0003366278640000195
模型识别输入并输出一组二维矩阵
Figure BDA0003366278640000191
其尺寸为输入图像尺寸，取值在[0,1]之间。
Figure BDA0003366278640000192
中取值大于0.5的，表示该位置像素为元件；所有前述像素的集合，作为非标准元件定位的结果输出完毕，完成需定位的未安装元件的印刷电路板的非标准元件定位。
此外，本说明书实施例中的印刷电路板非标准元件识别定位方法对输入的图像或视频的大小尺寸没有严格要求，部分现有技术例如模板匹配方法通常要求模板被裁剪为一个较小的固定尺寸如24×24像素，本发明在方法实施的计算资源允许的前提下，可以使用任何的图像尺寸，例如常用的1920×1080像素或800×600像素。
表1本发明方法与现有技术定位准确率比较
Figure BDA0003366278640000201
本说明书实施例还公开了一种基于视觉的印刷电路板非标准元件识别定位系统，该系统用于实现上述基于视觉的印刷电路板非标准元件识别定位方法。具体的，该系统包括数据采集模块5、预处理模块6、神经网络模型模块7及识别定位模块8。
其中，数据采集模块5用于采集样本图像，获取图像数据；预处理模块6用于对所采集的所述样本图像进行预处理；神经网络模型模块7用于构建定位神经网络模型，并利用预处理后的多组样本图像训练所述定位神经网络模型；识别定位模块8用于根据训练好的定位神经网络模型对印刷电路板非标准元件进行识别定位。
综上所述，本说明书公开一种基于视觉的印刷电路板非标准元件识别定位方法及系统，通过拍摄印刷电路板的图像或者视频，并通过采取机器视觉、机器学习等技术，识别、确定非标准元件在印刷电路板上的轮廓区域，实现印刷电路板非标准元件的定位，以解决非标准元件在印刷电路板上的识别和自动定位问题。
该印刷电路板非标准元件识别定位方法采用多个分层的神经网络模型对印刷电路板图像进行建模，通过设计神经网络相邻层次之间神经元的连接方式和连接权重建立具有非标准元件识别和定位能力的神经网络模型，并对该神经网络模型进行训练，利用训练好的神经网络模型对印刷电路板非标准元件识别并输出定位结果，定位准确率更高，误报率更低，可实现自动从包含印刷电路板、非标准电子元件的图像或视频中定位非标准电子元件的轮廓区域，具备较高的定位精度和定位速度，提高了电子元件的组装效率，且在自动运行效果不佳的图像污损、模糊，光照、纹理干扰等复杂环境下，能够实现更高的定位性能，并能够充分利用印刷电路板图像的先验信息，大大降低了现有技术中对非标准元件本身轮廓先验的依赖，适用于任意轮廓的非标准元件和标准元件，适用性强，降低了组装成本。此外，该印刷电路板非标准元件识别定位方法对输入的图像或视频的大小尺寸没有严格要求，可以使用任何的图像尺寸，并可适用于彩色RGB图像或灰度单通道图像，适应性更强。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种基于视觉的印刷电路板非标准元件识别定位方法，其特征在于，所述方法包括以下步骤：
采集图像数据，并进行预处理：
获取包含完整的未安装元件的电路板和元件插槽的输入图像Input，采集输入图像数据；
获取包含完整的已安装元件的待作业参照电路板的参考图像Reference，采集参考图像数据；所述参考图像的通道数与所述输入图像的通道数相一致；
对所采集的所述输入图像、参考图像分别进行色彩空间转换的预处理操作，得到预处理后的输入图像Input′以及预处理后的参考图像Reference′；
构建所述印刷电路板非标准元件的定位神经网络模型，并利用所采集并预处理后的多组样本图像训练所述定位神经网络模型：
预处理后的所述输入图像Input′、参考图像Reference′作为一组样本图像；
构建所述定位神经网络模型；所述定位神经网络模型包括一层输入层、六层隐藏层及一层输出层；
每组所述样本图像作为所述定位神经网络模型的输入层，与样本图像组中所述输入图像对应的元件安装标记作为模型输出层，代入所述定位神经网络模型，采用反向传播算法对所述定位神经网络模型进行训练；
利用训练完成的所述定位神经网络模型，对所述印刷电路板非标准元件进行识别定位：
当给出一张需定位的未安装元件的印刷电路板时，从样本库中任意取出一张已安装元件的印刷电路板；
采集所述需定位的未安装元件的印刷电路板的待识别定位图像及所述已安装元件的印刷电路板的样本参照图像；其中，所述待识别定位图像的通道数与所述样本参照图像的通道数相一致；
将所述待识别定位图像、样本参照图像分别作为输入图像Input、参考图像Reference输入训练完成的所述定位神经网络模型，并根据所述定位神经网络模型的输出定位所述需定位的未安装元件的印刷电路板的非标准元件位置。
2.根据权利要求1所述的基于视觉的印刷电路板非标准元件识别定位方法，其特征在于，所述输入图像Input＝[R1,G1,B1]，所述参考图像Reference＝[R2,G2,B2]；所述对所采集的所述输入图像、参考图像分别进行色彩空间转换的预处理操作，得到预处理后的输入图像Input′以及预处理后的参考图像Reference′具体包括：
采用几何推导法将所述输入图像、参考图像从RGB空间转换至HSI空间，得到所述输入图像转换后的三个通道数据I1、S1、H1及所述参考图像转换后的三个通道数据I2、S2、H2；
对所述输入图像转换后的三个通道及所述参考图像转换后的三个通道分别进行二维卷积滤波处理，得到预处理后的输入图像Input′、参考图像Reference′；其二维卷积滤波处理过程为：
Figure FDA0003366278630000021
Figure FDA0003366278630000022
式(1)和式(2)中，KI、KS分别为对I、S通道采用的卷积核。
3.根据权利要求2所述的基于视觉的印刷电路板非标准元件识别定位方法，其特征在于，所述卷积核
Figure FDA0003366278630000023
4.根据权利要求2所述的基于视觉的印刷电路板非标准元件识别定位方法，其特征在于，所述定位神经网络模型的输入层的节点定义为由
Figure FDA0003366278630000024
与
Figure FDA0003366278630000031
共同组成，第一隐藏层的节点定义为由
Figure FDA0003366278630000032
与
Figure FDA0003366278630000033
共同组成，第二隐藏层的节点定义为由
Figure FDA0003366278630000034
与
Figure FDA0003366278630000035
共同组成，第三隐藏层的节点定义为由
Figure FDA0003366278630000036
与
Figure FDA0003366278630000037
共同组成，第四隐藏层的节点定义为由
Figure FDA0003366278630000038
与
Figure FDA0003366278630000039
共同组成，第五隐藏层的节点定义为由
Figure FDA00033662786300000310
与
Figure FDA00033662786300000311
共同组成，第六隐藏层的节点定义为由
Figure FDA00033662786300000312
与
Figure FDA00033662786300000313
共同组成，输出层定义为
Figure FDA00033662786300000314
其中，
Figure FDA00033662786300000315
Figure FDA00033662786300000316
式(3)和式(4)中，
Figure FDA00033662786300000317
表示输入层中与所述预处理后的输入图像Input′相关部分的节点；
Figure FDA00033662786300000318
表示输入层中与所述预处理后的参考图像Reference′相关部分的节点；c＝1，2，3表示所述预处理后的输入图像Input′、参考图像Reference′的三个通道；(x,y)表示二维图像中的坐标；
Figure FDA00033662786300000319
Figure FDA00033662786300000320
式(5)和式(6)中，
Figure FDA00033662786300000321
表示输入层中相应坐标的节点；
Figure FDA00033662786300000322
表示输入层中相应坐标的节点；
Figure FDA00033662786300000323
为对应于通道c(c＝1，2，3)的卷积窗口；p、q表示卷积窗口中位置的正整数坐标；b0为线性偏置量；σ(·)为激励函数；
Figure FDA00033662786300000324
Figure FDA00033662786300000325
式(7)和式(8)中，
Figure FDA00033662786300000326
表示第一隐藏层中相应坐标的节点；
Figure FDA00033662786300000327
表示第一隐藏层中相应坐标的节点；
Figure FDA00033662786300000328
为对应于通道c(c＝1，2，3)的卷积窗口；p、q表示卷积窗口中位置的正整数坐标；b1为线性偏置量；σ(·)为激励函数；
Figure FDA0003366278630000041
Figure FDA0003366278630000042
式(9)和式(10)中，
Figure FDA0003366278630000043
表示第二隐藏层中相应坐标的节点；
Figure FDA0003366278630000044
表示第二隐藏层中相应坐标的节点；max、min分别表示在以(4x，4y)为中心的窗口范围内取所有像素的最小值；p、q表示窗口中位置的正整数坐标；b2为线性偏置量；σ(·)为激励函数；
Figure FDA0003366278630000045
Figure FDA0003366278630000046
式(11)和式(12)中，
Figure FDA0003366278630000047
表示第三隐藏层中相应坐标的节点；
Figure FDA0003366278630000048
表示第三隐藏层中相应坐标的节点；max、min分别表示在以(4x，4y)为中心的窗口范围内取所有像素的最小值；p、q表示窗口中位置的正整数坐标；b3为线性偏置量；σ(·)为激励函数；
Figure FDA0003366278630000049
Figure FDA00033662786300000410
式(13)和式(14)中，
Figure FDA00033662786300000411
表示第四隐藏层中相应坐标的节点；
Figure FDA00033662786300000412
表示第四隐藏层中相应坐标的节点；
Figure FDA00033662786300000413
为对应于通道c(c＝1，2，3)的卷积窗口；p、q表示卷积窗口中位置的正整数坐标；b4为线性偏置量；σ(·)为激励函数；
Figure FDA0003366278630000051
Figure FDA0003366278630000052
式(15)和式(16)中，
Figure FDA0003366278630000053
表示第五隐藏层中相应坐标的节点；
Figure FDA0003366278630000054
表示第五隐藏层中相应坐标的节点；W表示卷积窗口一个通道下的像素总数；p、q表示卷积窗口中位置的正整数坐标；b5为线性偏置量；σ(·)为激励函数；
Figure FDA0003366278630000055
式(17)中，p、q表示位置的正整数坐标，取值为第六隐藏层的节点范围；c表示通道数(c＝1，2，3)；d表示前一层的节点属于u6或v6部分，当d＝1时，
Figure FDA0003366278630000056
当d＝2时，
Figure FDA0003366278630000057
Figure FDA0003366278630000058
表示第六隐藏层中相应节点；b6为线性偏置量；σ(·)为激励函数；
Figure FDA0003366278630000059
为与节点
Figure FDA00033662786300000510
对应的独立权值。
5.根据权利要求4所述的基于视觉的印刷电路板非标准元件识别定位方法，其特征在于，所述激励函数σ(·)定义为：
Figure FDA00033662786300000511
式(18)中，参数α用于调整函数的收敛速度。
6.根据权利要求4所述的基于视觉的印刷电路板非标准元件识别定位方法，其特征在于，所述采用反向传播算法对所述定位神经网络模型进行训练具体包括：
采用反向传播算法对所述定位神经网络模型进行训练，确定式(5)–(17)中的权值w1、w2、w5、w6、b0、b1、b2、b3、b4、b5、b6。
7.根据权利要求4所述的基于视觉的印刷电路板非标准元件识别定位方法，其特征在于，所述根据所述定位神经网络模型的输出定位所述需定位的未安装元件的印刷电路板的非标准元件位置具体包括：
所述定位神经网络模型识别输入并输出一组二维矩阵
Figure FDA0003366278630000061
所述二维矩阵
Figure FDA0003366278630000062
的尺寸与所述待识别定位图像的尺寸相同；
根据所述二维矩阵
Figure FDA0003366278630000063
中位置像素的取值判断该位置是否为元件；
所有的元件位置像素的集合作为非标准元件定位的输出结果。
8.根据权利要求1所述的基于视觉的印刷电路板非标准元件识别定位方法，其特征在于，所述输入图像、参考图像均为灰度单通道图像，或所述输入图像、参考图像均为彩色三通道图像。
9.一种基于视觉的印刷电路板非标准元件识别定位系统，其特征在于，所述系统用于实现上述权利要求1–8任一所述的基于视觉的印刷电路板非标准元件识别定位方法；所述系统包括：
数据采集模块，用于采集样本图像，获取图像数据；
预处理模块，用于对所采集的所述样本图像进行预处理；
神经网络模型模块，用于构建定位神经网络模型，并利用预处理后的多组样本图像训练所述定位神经网络模型；
识别定位模块，用于根据训练好的定位神经网络模型对印刷电路板非标准元件进行识别定位。
CN202111382915.XA 2021-11-22 2021-11-22 基于视觉的印刷电路板非标准元件识别定位方法及系统 Pending CN114092440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111382915.XA CN114092440A (zh) 2021-11-22 2021-11-22 基于视觉的印刷电路板非标准元件识别定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111382915.XA CN114092440A (zh) 2021-11-22 2021-11-22 基于视觉的印刷电路板非标准元件识别定位方法及系统

Publications (1)

Publication Number Publication Date
CN114092440A true CN114092440A (zh) 2022-02-25

Family

ID=80302386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111382915.XA Pending CN114092440A (zh) 2021-11-22 2021-11-22 基于视觉的印刷电路板非标准元件识别定位方法及系统

Country Status (1)

Country Link
CN (1) CN114092440A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187969A (zh) * 2022-09-14 2022-10-14 河南工学院 一种基于视觉识别的铅酸电池回收系统和方法
CN117058241A (zh) * 2023-10-10 2023-11-14 轩创(广州)网络科技有限公司 一种基于人工智能的电子元件定位方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187969A (zh) * 2022-09-14 2022-10-14 河南工学院 一种基于视觉识别的铅酸电池回收系统和方法
CN115187969B (zh) * 2022-09-14 2022-12-09 河南工学院 一种基于视觉识别的铅酸电池回收系统和方法
CN117058241A (zh) * 2023-10-10 2023-11-14 轩创(广州)网络科技有限公司 一种基于人工智能的电子元件定位方法及系统
CN117058241B (zh) * 2023-10-10 2024-03-29 轩创(广州)网络科技有限公司 一种基于人工智能的电子元件定位方法及系统

Similar Documents

Publication Publication Date Title
CN106845487B (zh) 一种端到端的车牌识别方法
US6768509B1 (en) Method and apparatus for determining points of interest on an image of a camera calibration object
WO2021129569A1 (zh) 一种人体动作识别方法
CN114092440A (zh) 基于视觉的印刷电路板非标准元件识别定位方法及系统
KR20160143494A (ko) 현저성 정보 취득 장치 및 현저성 정보 취득 방법
CN106778730A (zh) 一种用于快速生成ocr训练样本的自适应方法及系统
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN115272312B (zh) 基于机器视觉的塑料手机外壳缺陷检测方法
CN110009615B (zh) 图像角点的检测方法及检测装置
CN113592911A (zh) 表观增强深度目标跟踪方法
Kim et al. Exposing fake faces through deep neural networks combining content and trace feature extractors
CN115326809A (zh) 一种隧道衬砌表观裂纹检测方法及检测装置
CN117557784A (zh) 目标检测方法、装置、电子设备及存储介质
CN114331961A (zh) 用于对象的缺陷检测的方法
CN109658523A (zh) 利用ar增强现实应用实现车辆各功能使用说明的方法
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN117252928A (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN110458234B (zh) 一种基于深度学习的以图搜车方法
CN117409244A (zh) 一种SCKConv多尺度特征融合增强的低照度小目标检测方法
CN111222355A (zh) Pcb板上的条码定位方法及系统
CN114148103B (zh) 一种基于神经网络学习的焊膏印刷标记识别方法及系统
CN111507252A (zh) 人体跌倒检测装置、方法、电子终端及存储介质
CN114332084B (zh) 一种基于深度学习的pcb表面缺陷检测方法
CN116563306A (zh) 自适应火灾痕迹光谱图像分割方法及系统
JPH03202707A (ja) 基板実装検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination