CN112588607A - 一种基于深度学习的多视角焊锡缺陷检测装置 - Google Patents

一种基于深度学习的多视角焊锡缺陷检测装置 Download PDF

Info

Publication number
CN112588607A
CN112588607A CN202011407364.3A CN202011407364A CN112588607A CN 112588607 A CN112588607 A CN 112588607A CN 202011407364 A CN202011407364 A CN 202011407364A CN 112588607 A CN112588607 A CN 112588607A
Authority
CN
China
Prior art keywords
view
image
products
product
verification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011407364.3A
Other languages
English (en)
Inventor
邓智超
杨蕙同
颜润明
林永春
郑勇浩
徐初东
雷亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011407364.3A priority Critical patent/CN112588607A/zh
Publication of CN112588607A publication Critical patent/CN112588607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的多视角焊锡缺陷检测装置，包括：多视角图像获取系统、图像处理验证系统、产品分拣系统、产品修复系统，所述多视角图像获取系统用于获取待检测产品不同视角的图像；所述图像处理验证系统用于处理多视角图像获取系统获取的图像并通过内置的神经网络模型进行识别验证；所述产品分拣系统根据图像处理验证系统的验证结果对待检产品进行分拣；所述产品修复系统用于修复分拣出的不合格产品，并将修复后的产品送至图像获取系统。本发明克服了传统检测方法成本高，效率低的缺陷，并利用多视角的检测提高了检测的精度。

Description

一种基于深度学习的多视角焊锡缺陷检测装置
技术领域
本发明涉及机器视觉应用技术领域，更具体地，涉及一种基于深度学习的多视角焊锡缺陷检测装置。
背景技术
电子产品的核心是电路板，而电路板主要是由覆铜板和各类元器件组成，随着科技水平提高，电子产品的元器件集成度也越来越高，这不仅会增加电路板的设计难度，也会带来更高的故障率；不仅如此，当前大多数企业对电路板的加工都是实行全自动化，如贴片机，随着这类自动化的普及，电路板的缺焊率也成了相关企业首要关注的问题，因此，衍生出了很多相关的缺陷检测方案。最原始也最见效的就是人工检测，人工检测不仅成本较高，而且每天随着工作时间的增长，精力和专注度也会明显下降，这就会给产品质量带来隐患。除此之外，还有磁粉检测法、渗透检测法、涡流检测法、X射线检法、超声波检测法以及机器视觉检测法。然而，磁粉检测法只适用于铁磁性材料，检测结果受检测件形状的影响，难以实现自动化检测；而渗透检测法，检测速度慢，检测结果受检测人员影响大，也难以实现自动化检测；涡流检测法不能直观显示缺陷形状和大小，适用材料有限，对较深缺陷检测困难，检测精度低，X射线检测法有一定的有效性，并且能检测深度缺陷但对参与检测的工作人员有一定的辐射副作用，而基于机器视觉的缺陷检测法不仅适用范围广、精度高，而且不受检测件外形轮廓影响、检测效率高，还能有效实现自动化检测。目前有基于双目视觉的焊缝缺陷检测方案，但该方案误差较大，与工厂追求相去甚远。
在现有技术中，公开号为CN106501272A的中国发明专利，于2017年3月15日公开了一种机器视觉焊锡定位检测系统，其包括：工业相机、球积分光源、蜂鸣器、光源控制器、传送带、工业计算机、传感器、显示器、嵌入式系统、图像采集卡；工业相机与图像采集卡连接，图像采集卡与工业计算机相连，工业计算机与光源控制器连接，光源控制器与球积分光源相连，所述球积分光源置于工业相机的下方，且位于传送带的上方，所述图像采集卡与计算机的连线引出两路，一路连接显示器，另一路分别连接传感器和嵌入式系统，所述传感器位于传送带的上方。该方案结构原理复杂，成本高。
发明内容
本发明为克服上述现有技术中焊锡缺陷检测成本高、检测效率低、检测精度低的缺陷，提供一种基于深度学习的多视角焊锡缺陷检测装置。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
一种基于深度学习的多视角焊锡缺陷检测装置，包括：多视角图像获取系统、图像处理验证系统、产品分拣系统、产品修复系统，
所述多视角图像获取系统用于获取待检测产品不同视角的图像；
所述图像处理验证系统用于处理多视角图像获取系统获取的图像并通过内置的神经网络模型进行识别验证；
所述产品分拣系统根据图像处理验证系统的验证结果对待检产品进行分拣；
所述产品修复系统用于修复分拣出的不合格产品，并将修复后的产品送至图像获取系统。
进一步地，所述图像获取系统包含5台不同视角的相机。
进一步地，所述五台不同视角的相机设置方式为：在待检测产品所在水平面零度侧视视角设置两台，待检测产品正上方俯视视角设置一台，待检测产品正上方两侧45度视角各设置一台。
进一步地，所述相机为工业相机。
进一步地，所述图像处理验证系统包括有图像预处理单元和神经网络模型单元。
进一步地，所述图像预处理单元将图像获取系统采集的图像进行尺寸裁剪，得到待检测产品的目标引脚图像。
进一步地，图像预处理单元预处理后的图像按比例分别划分为训练数据集、验证数据集、测试数据集。
进一步地，所述产品分拣系统能够分拣出两类产品即：合格产品和不合格产品。
进一步地，所述检测装置还包括有传送带，所述传送带上设置多视角图像获取系统和产品分拣系统。
进一步地，图像处理验证系统设在PC机内。
与现有技术相比，本发明技术方案的有益效果是：
本发明利用多视角图像获取系统、图像处理验证系统、产品分拣系统、产品修复系统构建了基于深度学习的多视角焊锡缺陷检测装置，本发明克服了传统检测方法成本高，效率低的缺陷，并利用多视角的检测提高了检测的精度。
附图说明
图1为本发明一种基于深度学习的多视角焊锡缺陷检测装置原理图。
图2为本发明图像获取系统相机设置示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示，一种基于深度学习的多视角焊锡缺陷检测装置，包括：多视角图像获取系统、图像处理验证系统、产品分拣系统、产品修复系统，
所述多视角图像获取系统用于获取待检测产品不同视角的图像；
所述图像处理验证系统用于处理多视角图像获取系统获取的图像并通过内置的神经网络模型进行识别验证；
所述产品分拣系统根据图像处理验证系统的验证结果对待检产品进行分拣；
所述产品修复系统用于修复分拣出的不合格产品，并将修复后的产品送至图像获取系统。
在一个具体的实施例中，如图2所示，所述图像获取系统包含5台不同视角的相机。所述五台不同视角的相机设置方式为：在待检测产品所在水平面零度侧视视角设置两台，待检测产品正上方俯视视角设置一台，待检测产品正上方两侧45度视角各设置一台。需要说明的是通过设置不同视角的相机，当待检测的目标被遮挡较多时，可以选取不同视角的相机获取图像，所述相机可以选用型号为MER-125-30GCD大恒工业相机或者其他彩色工业相机。通过图像获取系统不同视角的相机来获取图像并将获取的图像发送至图像处理验证系统，所述图像处理验证系统可以设置在一台PC机内，所述PC机的配置参数可以进行如下配置：CPU为i77700K，显卡为GTX1060，显存6G内存16G，固态硬盘256G。
进一步地，所述图像处理验证系统包括有图像预处理单元和神经网络模型单元，所述图像预处理单元将图像获取系统采集的图像进行尺寸裁剪，得到待检测产品的目标引脚图像。
进一步地，图像预处理单元预处理后的图像按比例分别划分为训练数据集、验证数据集、测试数据集。在一个具体的实施例中，所述练数据集、验证数据集、测试数据集占比分别为70％、15％、15％，所述训练集和验证集用于训练收敛神经网络模型，而测试集用于检测神经网络模型的最终精度，优选地神经网络模型精度为98％以上。
在一个具体的实施例中，所述多视角图像获取系统和产品分拣系统可以设置在传送带上所述传送带包括有：相机固定支架、光源、紧固件，所述产品分拣系统根据图像处理验证系统的验证结果对待检产品进行分拣，所述产品分拣系统能够分拣出两类产品即：合格产品和不合格产品，需要说明的是，本发明中当待检测产品的每个视角都验证为合格时，产品分拣系统才将待检测产品分拣为合格产品，所述合格品即焊锡良好的产品；当待检测产品有任一个视角都验证为不合格时，产品分拣系统将待检测产品分拣为不合格产品并将不合格产品传送至产品修复系统，所述产品修复系统用于修复分拣出的不合格产品，并将修复后的产品送至图像获取系统。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，包括：多视角图像获取系统、图像处理验证系统、产品分拣系统、产品修复系统，
所述多视角图像获取系统用于获取待检测产品不同视角的图像；
所述图像处理验证系统用于处理多视角图像获取系统获取的图像并通过内置的神经网络模型进行识别验证；
所述产品分拣系统根据图像处理验证系统的验证结果对待检产品进行分拣；
所述产品修复系统用于修复分拣出的不合格产品，并将修复后的产品送至图像获取系统。
2.根据权利要求1所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，所述图像获取系统包含5台不同视角的相机。
3.根据权利要求2所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，所述五台不同视角的相机设置方式为：在待检测产品所在水平面零度侧视视角设置两台，待检测产品正上方俯视视角设置一台，待检测产品正上方两侧45度视角各设置一台。
4.根据权利要求2所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，所述相机为工业相机。
5.根据权利要求1所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，所述图像处理验证系统包括有图像预处理单元和神经网络模型单元。
6.根据权利要求5所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，所述图像预处理单元将图像获取系统采集的图像进行尺寸裁剪，得到待检测产品的目标引脚图像。
7.根据权利要求5所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，图像预处理单元预处理后的图像按比例分别划分为训练数据集、验证数据集、测试数据集。
8.根据权利要求1所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，所述产品分拣系统能够分拣出两类产品即：合格产品和不合格产品。
9.根据权利要求1所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，所述检测装置还包括有传送带，所述传送带上设置多视角图像获取系统和产品分拣系统。
10.根据权利要求1所述的一种基于深度学习的多视角焊锡缺陷检测装置，其特征在于，图像处理验证系统设在PC机内。
CN202011407364.3A 2020-12-04 2020-12-04 一种基于深度学习的多视角焊锡缺陷检测装置 Pending CN112588607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011407364.3A CN112588607A (zh) 2020-12-04 2020-12-04 一种基于深度学习的多视角焊锡缺陷检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011407364.3A CN112588607A (zh) 2020-12-04 2020-12-04 一种基于深度学习的多视角焊锡缺陷检测装置

Publications (1)

Publication Number Publication Date
CN112588607A true CN112588607A (zh) 2021-04-02

Family

ID=75188233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011407364.3A Pending CN112588607A (zh) 2020-12-04 2020-12-04 一种基于深度学习的多视角焊锡缺陷检测装置

Country Status (1)

Country Link
CN (1) CN112588607A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686253A (zh) * 2021-09-18 2021-11-23 广州海普电子材料科技有限公司 一种bga锡球检测方法及系统
CN116030053A (zh) * 2023-03-27 2023-04-28 中江立江电子有限公司 一种连接器引脚缺陷检测方法、装置、设备及介质
CN117840071A (zh) * 2024-02-01 2024-04-09 青岛河钢新材料科技股份有限公司 全自动分拣检测装置及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130134050A (ko) * 2012-05-30 2013-12-10 주식회사 이엔지코리아 백라이트유닛 불량검사용 카메라 조립체
CN205643182U (zh) * 2016-03-30 2016-10-12 富泰华工业（深圳）有限公司 检测装置
CN106501272A (zh) * 2016-12-24 2017-03-15 大连日佳电子有限公司 机器视觉焊锡定位检测系统
CN106525878A (zh) * 2016-10-21 2017-03-22 江苏理工学院 电机控制板生产检测系统
CN108240990A (zh) * 2018-03-22 2018-07-03 深圳市永光神目科技有限公司 一种焊锡缺陷检测系统
CN109035185A (zh) * 2018-06-29 2018-12-18 努比亚技术有限公司 一种图像处理方法及终端
CN111208148A (zh) * 2020-02-21 2020-05-29 凌云光技术集团有限责任公司 一种挖孔屏漏光缺陷检测系统
CN111929314A (zh) * 2020-08-26 2020-11-13 湖北汽车工业学院 一种轮毂焊缝视觉检测方法及检测系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130134050A (ko) * 2012-05-30 2013-12-10 주식회사 이엔지코리아 백라이트유닛 불량검사용 카메라 조립체
CN205643182U (zh) * 2016-03-30 2016-10-12 富泰华工业（深圳）有限公司 检测装置
CN106525878A (zh) * 2016-10-21 2017-03-22 江苏理工学院 电机控制板生产检测系统
CN106501272A (zh) * 2016-12-24 2017-03-15 大连日佳电子有限公司 机器视觉焊锡定位检测系统
CN108240990A (zh) * 2018-03-22 2018-07-03 深圳市永光神目科技有限公司 一种焊锡缺陷检测系统
CN109035185A (zh) * 2018-06-29 2018-12-18 努比亚技术有限公司 一种图像处理方法及终端
CN111208148A (zh) * 2020-02-21 2020-05-29 凌云光技术集团有限责任公司 一种挖孔屏漏光缺陷检测系统
CN111929314A (zh) * 2020-08-26 2020-11-13 湖北汽车工业学院 一种轮毂焊缝视觉检测方法及检测系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686253A (zh) * 2021-09-18 2021-11-23 广州海普电子材料科技有限公司 一种bga锡球检测方法及系统
CN116030053A (zh) * 2023-03-27 2023-04-28 中江立江电子有限公司 一种连接器引脚缺陷检测方法、装置、设备及介质
CN117840071A (zh) * 2024-02-01 2024-04-09 青岛河钢新材料科技股份有限公司 全自动分拣检测装置及方法

Similar Documents

Publication Publication Date Title
CN112588607A (zh) 一种基于深度学习的多视角焊锡缺陷检测装置
CN204479490U (zh) 一种激光打标产品在线检测分析系统
US6084663A (en) Method and an apparatus for inspection of a printed circuit board assembly
CN109142381B (zh) 一种高速视觉检测识别设备
CN110216080A (zh) 一种基于图像对比的pcb加工产线的质量监控系统
CN109342457A (zh) 一种双面视觉检测识别设备
Janóczki et al. Automatic optical inspection of soldering
CN110523657A (zh) 一种基于3d扫描法的仪表外观检测装置及其工作方法
CN106501708A (zh) 在线检测电路板上器件漏插、插偏的方法
CN209069836U (zh) 一种炉前插件视觉检测识别设备
CN108844966A (zh) 一种屏幕检测方法及检测系统
CN209117605U (zh) 一种双面视觉检测识别设备
CN206470220U (zh) 电路板检测系统
CN106645185A (zh) 一种智能检测工业零件表面质量的方法及装置
CN115060742A (zh) 一种基于视觉边缘计算的印刷电路板缺陷检测系统及方法
CN117670887B (zh) 一种基于机器视觉的锡焊高度及缺陷检测方法
CN114518526A (zh) 一种适用于pcb板ict的自动测试机控制系统
CN206146851U (zh) 一种智能检测工业零件表面质量的装置
CN109632815A (zh) 表面缺陷在线检测系统及方法
CN106526448A (zh) 一种电源驱动板自动检测系统和检测方法
US5903663A (en) Automatic error recognition apparatus
CN116060317A (zh) 焊缝熔池缺陷检测和位置测量机构及其检测方法
Zhang et al. Design of solder quality inspection system based on machine vision
CN212059962U (zh) 自动光学检测装置
CN113418935B (zh) 一种电路板生产在线式自动光学检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210402