CN115082387A - 一种基于2d与3d视觉融合pcb器件缺陷的检测方法 - Google Patents
一种基于2d与3d视觉融合pcb器件缺陷的检测方法 Download PDFInfo
- Publication number
- CN115082387A CN115082387A CN202210642338.1A CN202210642338A CN115082387A CN 115082387 A CN115082387 A CN 115082387A CN 202210642338 A CN202210642338 A CN 202210642338A CN 115082387 A CN115082387 A CN 115082387A
- Authority
- CN
- China
- Prior art keywords
- pcb
- image
- data
- visual fusion
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 230000007547 defect Effects 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 230000000007 visual effect Effects 0.000 title claims description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009776 industrial production Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于2D与3D视觉融合PCB器件缺陷的检测方法，所述检测方法通过多线程2D图像采集与3D数据采集功能实现同步运行；接着对2D‑PCB图像进行拼接预处理和对3D‑PCB图像进行投影预处理，然后将2D/3D数据归一化、配准和拼接后，采用图像采集算法和图像处理算法相关技术实现对PCB器件缺陷进行自动检测和标识，从而提高了检测效率和精度，保证生产PCB器件严格的质量检测，进而提升产品的良品率。
Description
技术领域
本发明涉及机器视觉检测技术领域，尤其涉及一种基于2D与3D视觉融合PCB器件缺陷的检测方法。
背景技术
随着科学技术的飞速发展，机器视觉检测已经成为现代工业生产中非常普遍的检测工具。与人眼相比，机器视觉可以更好地检测生产过程中的错误，更好地检测产品质量问题，提高工业生产效率和生产自动化程度，并提高工业生产的准确性。改进，加快工作流程并节省时间。
传统的人工检测效果会受到员工素质，工作状态，经验等因素的影响，检测效率低，人眼的瞬间疲劳可能会造成重大损失，尤其对于诸如PCB 表面元器件之类的精密细微产品而言，检测更加无能为力。
近年来，在大批量产品的生产过程中，由于涉及到多道工序，PCB 表面元器件装配会不可避免的出现一些质量问题，如元器件缺失、置插接错误、方向插接错误、型号不匹配等。对于这些常见的元器件装配缺陷问题，需要在生产阶段进行严格的质量检测，否则会影响产品的良品率，给后期产品的交付与使用造成麻烦。
发明内容
本发明解决的技术问题是：克服了传统的人工检测受制于人的主观因素，人眼疲劳或其他干扰会导致漏检和误检现象的出现，无法保证检测的效率和精度的缺点，提供一种基于2D与3D视觉融合PCB器件缺陷的检测方法。
本发明的目的是通过以下技术方案来实现的：
一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，包括以下步骤：
步骤1：连接相机、数据库和可编程逻辑控制器；
步骤2：对2D-PCB图像进行采集和对3D-PCB图像进行采集；
步骤3：对2D-PCB图像进行拼接预处理；对3D-PCB图像进行投影预处理；
步骤4：将2D/3D数据归一化；
步骤5：将2D/3D图像配准；
步骤6：将2D/3D图像拼接；
步骤7：通过PCB缺陷检测算法实现缺陷检测。
具体的，所述步骤1具体为：软件通过 TCP/IP 连接获取2D图像所用相机、可编程逻辑控制器（PLC）和获取3D图像所用MYSQL 数据库。
具体的，所述对2D-PCB图像进行采集具体为：通过工业相机、镜头、LED 光源和光源控制器等，实现对PCB器件进行2D数据进行采集，并通过运动控制系统可对PCB器件图像进行多次采集。
具体的，所述对3D-PCB图像进行采集具体为：通过 3D 相机、工业控制机实现3D数据的采集，3D 线扫相机依靠激光线扫法得到三维数据，即将一维的线激光投影到工件表面，根据内置的相机采集激光的变形程度和三角测量原理计算出所照射工件的三维坐标，获取PCB器件3D数据能正常展示 PCB 的立体信息。
具体的，所述归一化具体为：点云数据 Z 轴坐标在 0~6mm 的范围内，高度信息在0~255 mm的范围内。
具体的，所述步骤5包含以下子步骤：
步骤51：采用Harris角点检测的方法提取图像 MC(x,y)和投影图像M3d (x,y )的角点特征以保证角点提取的准确性；
步骤52：在图像MC(x,y)和投影图像M3d (x,y )中选择所需的元器件角点特征作为标记点并计算出图像 MC(x,y)和投影图像M3d (x,y )之间的投影矩阵；
步骤53：将2D 图像 MC(x,y)进行投影变换。
具体的，所述步骤6具体为：根据相邻3D-PCB投影图像M3d (x,y )中的角点信息拼接3D-PCB 图像片段。
具体的，所述步骤7具体为：利用元器件信息文件，通过文件内的相关信息实现元器件图像的定位，利用经验数据对缺陷进行识别。
具体的，所述元器件信息文件包括：封装信息、元器件焊盘位置信息以及旋转角度。
本发明的有益效果：
通过人眼与显微镜结合，对PCB 元器件装配缺陷进行肉眼识别，带来大量的工作量，可采用2D与3D视觉融合检测方法，提高检测效率和精度，保证生产PCB器件严格的质量检测，进而提升产品的良品率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的流程图。
图2是本发明的步骤5、6流程图。
图3是本发明的PCB缺陷检测算法流程图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
为了对本发明的技术特征、目的和有益效果有更加清楚的理解，现对本发明的技术方案精选以下详细说明。显然，所描述的实施案例是本发明一部分实施例，而不是全部实施例，不能理解为对本发明可实施范围的限定。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他所有实施例，都属于本发明的保护范围。
实施例1
在该实施例中，其特征在于，包括以下步骤：
如图1所示，一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，包括以下步骤：
步骤1：连接相机、数据库和可编程逻辑控制器；
步骤2：对2D-PCB图像进行采集和对3D-PCB图像进行采集；
步骤3：对2D-PCB图像进行拼接预处理；对3D-PCB图像进行投影预处理；
步骤4：将2D/3D数据归一化；
步骤5：将2D/3D图像配准；
步骤6：将2D/3D图像拼接；
步骤7：通过PCB缺陷检测算法实现缺陷检测。
具体的，所述步骤1具体为：软件通过 TCP/IP 连接获取2D图像所用相机、可编程逻辑控制器（PLC）和获取3D图像所用MYSQL 数据库。
具体的，所述对2D-PCB图像进行采集具体为：通过工业相机、镜头、LED 光源和光源控制器等，实现对PCB器件进行2D数据进行采集，并通过运动控制系统可对PCB器件图像进行多次采集。
具体的，所述对3D-PCB图像进行采集具体为：通过 3D 相机、工业控制机实现3D数据的采集，3D 线扫相机依靠激光线扫法得到三维数据，即将一维的线激光投影到工件表面，根据内置的相机采集激光的变形程度和三角测量原理计算出所照射工件的三维坐标，获取PCB器件3D数据能正常展示 PCB 的立体信息。
具体的，所述归一化具体为：点云数据 Z 轴坐标在 0~6mm 的范围内，高度信息在0~255 mm的范围内。
如图2所示，具体的，所述步骤5包含以下子步骤：
步骤51：采用Harris角点检测的方法提取图像 MC(x,y)和投影图像M3d (x,y )的角点特征以保证角点提取的准确性；
步骤52：在图像MC(x,y)和投影图像M3d (x,y )中选择所需的元器件角点特征作为标记点并计算出图像 MC(x,y)和投影图像M3d (x,y )之间的投影矩阵；
步骤53：将2D 图像 MC(x,y)进行投影变换。
具体的，所述步骤6具体为：根据相邻3D-PCB投影图像M3d (x,y )中的角点信息拼接3D-PCB 图像片段。
如图3所示，具体的，所述步骤7具体为：利用元器件信息文件，通过文件内的相关信息实现元器件图像的定位，利用经验数据对缺陷进行识别。
具体的，所述元器件信息文件包括：封装信息、元器件焊盘位置信息以及旋转角度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (9)
1.一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，包括以下步骤：
步骤1：连接相机、数据库和可编程逻辑控制器；
步骤2：对2D-PCB图像进行采集和对3D-PCB图像进行采集；
步骤3：对2D-PCB图像进行拼接预处理；对3D-PCB图像进行投影预处理；
步骤4：将2D/3D数据归一化；
步骤5：将2D/3D图像配准；
步骤6：将2D/3D图像拼接；
步骤7：通过PCB缺陷检测算法实现缺陷检测。
2. 根据权利要求1所述的一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，所述步骤1具体为：软件通过 TCP/IP 连接获取2D图像所用相机、可编程逻辑控制器（PLC）和获取3D图像所用MYSQL 数据库。
3.根据权利要求1所述的一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，
所述对2D-PCB图像进行采集具体为：通过工业相机、镜头、LED 光源和光源控制器等，实现对PCB器件进行2D数据进行采集，并通过运动控制系统可对PCB器件图像进行多次采集。
4.根据权利要求1所述的一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，
所述对3D-PCB图像进行采集具体为：通过 3D 相机、工业控制机实现3D数据的采集，3D线扫相机依靠激光线扫法得到三维数据，即将一维的线激光投影到工件表面，根据内置的相机采集激光的变形程度和三角测量原理计算出所照射工件的三维坐标，获取PCB器件3D数据能正常展示 PCB 的立体信息。
5.根据权利要求1所述的一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，所述归一化具体为：点云数据 Z 轴坐标在 0~6mm 的范围内，高度信息在 0~255 mm的范围内。
6.根据权利要求1所述的一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，
所述步骤5包含以下子步骤：
步骤51：采用Harris角点检测的方法提取图像 MC(x,y)和投影图像M3d (x,y )的角点特征以保证角点提取的准确性；
步骤52：在图像MC(x,y)和投影图像M3d (x,y )中选择所需的元器件角点特征作为标记点并计算出图像 MC(x,y)和投影图像M3d (x,y )之间的投影矩阵；
步骤53：将2D 图像 MC(x,y)进行投影变换。
7.根据权利要求1所述的一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，
所述步骤6具体为：根据相邻3D-PCB投影图像M3d (x,y )中的角点信息拼接3D-PCB 图像片段。
8.根据权利要求1所述的一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，
所述步骤7具体为：利用元器件信息文件，通过文件内的相关信息实现元器件图像的定位，利用经验数据对缺陷进行识别。
9.根据权利要求8所述的一种基于2D与3D视觉融合PCB器件缺陷的检测方法，其特征在于，
所述元器件信息文件包括：封装信息、元器件焊盘位置信息以及旋转角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210642338.1A CN115082387A (zh) | 2022-06-08 | 2022-06-08 | 一种基于2d与3d视觉融合pcb器件缺陷的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210642338.1A CN115082387A (zh) | 2022-06-08 | 2022-06-08 | 一种基于2d与3d视觉融合pcb器件缺陷的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115082387A true CN115082387A (zh) | 2022-09-20 |
Family
ID=83251159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210642338.1A Pending CN115082387A (zh) | 2022-06-08 | 2022-06-08 | 一种基于2d与3d视觉融合pcb器件缺陷的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082387A (zh) |
-
2022
- 2022-06-08 CN CN202210642338.1A patent/CN115082387A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11536669B2 (en) | Detecting machining errors of a laser machining system using deep convolutional neural networks | |
| CN105021628B (zh) | 一种用于光纤倒像器表面缺陷的检测方法 | |
| CN105835507B (zh) | 一种手机盖板玻璃和液晶屏的贴合方法 | |
| US11972589B2 (en) | Image processing device, work robot, substrate inspection device, and specimen inspection device | |
| JP6503153B2 (ja) | ビジョンシステムにおいて３ｄアライメントアルゴリズムを自動選択するためのシステム及び方法 | |
| CN104101611A (zh) | 一种类镜面物体表面光学成像装置及其成像方法 | |
| US10579890B2 (en) | Automatic alignment of a 3D model to a test object | |
| JP5438475B2 (ja) | 隙間段差計測装置、隙間段差計測方法、及びそのプログラム | |
| CN109926817A (zh) | 基于机器视觉的变压器自动装配方法 | |
| He et al. | A critical review for machining positioning based on computer vision | |
| CN113269762A (zh) | 屏幕不良检测方法、系统及计算机存储介质 | |
| JP2018028476A (ja) | 検査装置および検査方法 | |
| CN107850425B (zh) | 用于测量制品的方法 | |
| CN113039432A (zh) | 优化自动视觉检查过程中的设置阶段 | |
| CN112529856A (zh) | 确定操作对象位置的方法、机器人和自动化系统 | |
| Lee et al. | Implementation of a robotic arm with 3D vision for shoes glue spraying system | |
| CN115082387A (zh) | 一种基于2d与3d视觉融合pcb器件缺陷的检测方法 | |
| CN108705689B (zh) | 大口径精密光学晶体表面微缺陷修复用自动对刀工艺方法 | |
| CN113240629B (zh) | 基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法 | |
| CN113592962B (zh) | 基于机器视觉的批量硅片标识识别方法 | |
| CN115112098A (zh) | 一种单目视觉的一维二维测量方法 | |
| González et al. | Adaptive edge finishing process on distorted features through robot-assisted computer vision | |
| JP2008185395A (ja) | 実装基板外観検査方法 | |
| JP2017016169A (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
| TWI802496B (zh) | 用於檢測應用的自動正確取像及校準系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |