CN110455815B - 一种电子元器件外观缺陷检测的方法及系统 - Google Patents

一种电子元器件外观缺陷检测的方法及系统 Download PDF

Info

Publication number
CN110455815B
CN110455815B CN201910836538.9A CN201910836538A CN110455815B CN 110455815 B CN110455815 B CN 110455815B CN 201910836538 A CN201910836538 A CN 201910836538A CN 110455815 B CN110455815 B CN 110455815B
Authority
CN
China
Prior art keywords
cloud data
light source
point cloud
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910836538.9A
Other languages
English (en)
Other versions
CN110455815A (zh
Inventor
宋世刚
薛丽丽
董礼
唐伟浩
任志聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Hypervision Technology Co ltd
Original Assignee
Xi'an Hypervision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Hypervision Technology Co ltd filed Critical Xi'an Hypervision Technology Co ltd
Priority to CN201910836538.9A priority Critical patent/CN110455815B/zh
Publication of CN110455815A publication Critical patent/CN110455815A/zh
Application granted granted Critical
Publication of CN110455815B publication Critical patent/CN110455815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8835—Adjustable illumination, e.g. software adjustable screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种电子元器件外观缺陷检测的方法，其特征在于，包括以下步骤：步骤一、对生产线上的每个待检测电子元器件进行三维重建，根据深度信息和颜色信息得到待检测样品的三维点云数据；步骤二、将待检测样品的三维点云数据与标准的三维点云数据进行匹配，获得待检测电子元器件的缺陷信息。本发明还提供了一种基于上述方法的系统，该系统包括用于控制系统中每个光源依次点亮和熄灭的光源控制端、用于采集图像并将图像发送给图像处理系统的图像采集端、以及图像处理端。本发明在二维图像信息的基础上加入产品的深度信息，利用电子元器件的三维信息进行外观缺陷检测，从而提高了检测准确性，大大降低了电子元器件的误检率。

Description

一种电子元器件外观缺陷检测的方法及系统
技术领域
本发明涉及电子产品外观检测领域，尤其涉及一种电子元器件外观缺陷检测的方法及系统。
背景技术
随着国内电子工业的高速发展，电子元器件的市场需求在不断增加。为了保证电子元器件的质量和寿命，对其外观缺陷进行检测是电子元器件生产过程中不可或缺的一个环节。
随着电子元器件趋向微型化、集成化，对检测的要求越来越高。传统的人工检测效率低、检测成本高、稳定性差、无法满足生产过程中实时在线全检的要求，所以，利用机器视觉技术进行外观缺陷检测逐步受到生产厂家的青睐。
然而利用二维图像信息进行缺陷检测容易受到样品颜色、光照条件、现场环境等的影响，检测准确性无法保证。因此，急需提供一种检测准确性高的电子元器件外观缺陷检测方法。
发明内容
本发明提供了一种利用电子元器件三维信息进行外观缺陷检测的高精度的方法及系统，本发明在二维图像信息的基础上加入产品的深度信息，对每一个电子元器件进行高精度三维重建；利用电子元器件的三维信息进行外观缺陷检测，从而提高了检测准确性，大大降低了电子元器件的误检率，帮助企业降低生产成本，提高生产效率。
实现本发明目的的技术方案如下：
一种电子元器件外观缺陷检测的方法，包括以下步骤：
步骤一、对生产线上的每个待检测电子元器件进行三维重建，根据深度信息和颜色信息得到待检测样品的三维点云数据；
步骤二、将待检测样品的三维点云数据与标准的三维点云数据进行匹配，获得待检测电子元器件的缺陷信息。
作为本发明的进一步改进，步骤二中所述标准的三维点云数据获取方法为：对合格电子元器件进行三维重建，得到合格电子元器件的深度信息与颜色信息，形成标准的三维点云数据。
作为本发明的进一步改进，形成标准三维点云数据的具体过程是：(1)通过控制不同位置光源的打开和熄灭，采集合格电子元器件的若干幅图像；(2)根据每幅图像的亮暗变化，获得合格电子元器件上每个像素点的法线和反射率；(3)通过每个像素点的法线得到合格电子元器件的深度信息；(4)对深度信息进行网格化处理得到合格电子元器件的三维点云数据。
作为本发明的进一步改进，所述不同位置光源的亮暗不同，使得若干幅图像的亮度存在差异。
作为本发明的进一步改进，所述若干幅图像中的每一幅图像对应一个光源位置，并且可以对所有光源位置进行标定。
作为本发明的进一步改进，光源位置的标定利用非线性最小二乘法求解如下目标函数：
Figure BDA0002192346770000021
其中，N为像素点个数，K为光源个数，Ipk由第k个光源得到的图像中第p个像素点的强度，lk为第k个光源的位置，ek为第k个光源的强度，
Figure BDA0002192346770000022
为第p个像素点的法线；
非线性最小二乘法的初值为：
lk＝[w/2,h/2,max(w,h)]
其中，w和h分别为图像的宽和高。
作为本发明的进一步改进，每个像素点的法线和反射率获得过程为：根据下述光度立体公式，求解如下的最小二乘问题，可获得每个像素点的法线和反射率；
Figure BDA0002192346770000031
其中，ap为第p个像素点的反射率。
作为本发明的进一步改进，待检测样品的三维点云数据获取方法与标准的三维点云数据获取方法相同。
作为本发明的进一步改进，所述步骤二利用ICP算法将待检测样品的三维点云数据与标准的三维点云数据进行匹配，从而获得缺陷信息。
一种电子元器件外观缺陷检测的系统，利用上述电子元器件外观缺陷检测的方法，该系统包括：
光源控制端，用于控制系统中每个光源依次点亮和熄灭；
图像采集端，用于采集图像，并将采集的图像发送给图像处理系统；
图像处理端，包括计算模块、三维构建模块和缺陷检测模块；
计算模块利用每幅图像的亮度信息和光源位置信息，计算图像中各点的深度信息；
三维构建模块用于对深度信息进行网格化处理得到三维点云数据；
缺陷检测模块用于将生成的三维点云数据与标准的三维点云数据进行对比，得出缺陷信息。
作为本发明的进一步改进，所述计算模块包括光源位置计算单元、法线计算单元、深度信息计算单元；
光源位置计算单元用于通过如下公式计算得到每个光源的位置信息；
Figure BDA0002192346770000032
其中N为像素点个数，K为光源个数，Ipk由第k个光源得到的图像中第p个像素点的强度，lk为第k个光源的位置，ek为第k个光源的强度，
Figure BDA0002192346770000041
为第p个像素点的法线；
法线计算单元通过如下公式得到样品的法线信息；
Figure BDA0002192346770000042
其中，ap为第p个像素点的反射率；
深度信息计算单元将法线计算单元计算得到的法线信息带入如下公式得到图像各点的深度信息；
Figure BDA0002192346770000043
其中，F-1表示傅里叶逆变换，
Figure BDA0002192346770000044
为x方向法线的傅里叶系数，/>
Figure BDA0002192346770000045
为y方向法线的傅里叶系数。
与现有技术相比，本发明的有益效果是：
1、本发明在二维图像信息的基础上加入产品的深度信息，对每一个电子元器件进行高精度三维重建；利用电子元器件的三维信息进行外观缺陷检测，从而提高了检测准确性，大大降低了电子元器件的误检率，帮助企业降低生产成本，提高生产效率；
2、本发明具有检测精度高、结果稳定可靠、速度快、非接触式检测、可长时间工作等优点。
附图说明
图1是实施方式一中电子元器件外观缺陷检测方法的流程图。
图2是电子元器件外观缺陷检测系统的结构方框图。
图3为采集到合格的电子元器件图像。
图4为采集到不合格的电子元器件图像。
图5为合格的电子元器件的深度信息。
图6为不合格的电子元器件的深度信息。
图7为合格的电子元器件的深度信息和颜色信息。
图8为不合格的电子元器件的深度信息和颜色信息。
图9为外观缺陷信息。
图10为电子元器件外观缺陷检测方法的流程图。
图11为电子元器件拆解说明。
图中，100、电极面；200、引线镀锡；300、磁芯；400、磁环。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
本发明的电子元器件外观缺陷检测的方法包括：利用光度立体方法对合格的电子元器件外观进行三维重建，得到合格品的深度信息与颜色信息，形成标准的三维点云数据；利用光度立体方法对生产线上的每一个待检测电子元器件外观进行三维重建，根据深度信息和颜色信息得到待检测样品的三维点云数据；将待检测样品的三维点云数据与标准的三维点云数据进行匹配，获得样品的缺陷信息。
利用光度立体方法对合格的电子元器件外观进行三维重建，得到合格品的深度信息与颜色信息，形成标准的三维点云数据包括：
步骤A：光源位置标定。
利用非线性最小二乘法求解如下目标函数：
Figure BDA0002192346770000051
其中N为像素点个数，K为光源个数，Ipk由第k个光源得到的图像中第p个像素点的强度，lk为第k个光源的位置，ek为第k个光源的强度，
Figure BDA0002192346770000061
为第p个像素点的法线。非线性最小二乘法的初值为：
lk＝[w/2,h/2,max(w,h)]
其中w和h分别为图像的宽和高。
步骤B：计算合格品每个像素点的法线和反射率。
根据光度立体公式，求解如下的最小二乘问题，可获得每个像素点的法线和反射率。
Figure BDA0002192346770000062
其中，ap为第p个像素点的反射率。
步骤C：计算合格品的深度信息。
Figure BDA0002192346770000063
其中，F-1表示傅里叶逆变换，
Figure BDA0002192346770000064
为x方向法线的傅里叶系数，/>
Figure BDA0002192346770000065
为y方向法线的傅里叶系数。
步骤D：生成合格品的三维点云数据。
本发明将待检测样品的三维点云数据与标准的三维点云数据进行匹配，获得样品的缺陷信息，具体为：利用ICP(Iterative Closest Point迭代最近点)算法，将样品的三维点云数据与标准的三维点云数据进行匹配，从而获得缺陷信息。
ICP(Iterative Closest Point迭代最近点)算法如下：
步骤A：计算标准点云和待检测样品点云的质心位置p,p′,然后计算每个点的去质心坐标：
qi＝pi-p,qi′＝pi′-p′
步骤B：根据优化问题计算旋转矩阵：
Figure BDA0002192346770000071
步骤C：根据步骤B的结果计算两个点云差异：
t*＝p-Rp′
本发明通过控制光源采集得到样品的若干幅图像，利用图像的亮度信息对样品进行三维重建得到样品的深度信息，并对深度信息进行网格化处理得到三维点云数据，利用样品的三维点云数据与标准的三维点云数据进行匹配，达到快速准确地检测样品缺陷的目的。本发明与传统的人工检测以及二维机器视觉检测方法相比较，具有检测速度快、检测精度高、检测结果稳定等特点，可帮助电子元器件生产企业大幅提高检测效率，有效降低检测成本。
本发明还提供了一种电子元器件外观缺陷检测系统，包括光源控制端、图像采集端和图像处理端。光源控制端，用于控制系统中每个光源依次点亮和熄灭。图像采集端，用于采集图像，并将采集的图像发送给图像处理系统；图像处理端包括：计算模块，用于利用每幅图像的亮度信息和光源位置信息，通过公式计算图像中各点的深度信息；三维构建模块，用于对深度信息进行网格化处理得到三维点云数据。缺陷检测模块，用于将生成的三维点云数据与标准的三维点云数据进行对比，得出缺陷信息。缺陷检测模块将三维构建模块得到的样品的三维点云数据通过ICP算法与标准的三维点云数据进行匹配，获得样品的缺陷信息。
计算模块包括：光源位置计算单元，用于通过如下公式计算得到每个光源的位置信息；
Figure BDA0002192346770000072
其中N为像素点个数，K为光源个数，Ipk由第k个光源得到的图像中第p个像素点的强度，lk为第k个光源的位置，ek为第k个光源的强度，
Figure BDA0002192346770000073
为第p个像素点的法线。
法线计算单元，用于通过如下公式得到样品的法线信息；
Figure BDA0002192346770000081
深度信息计算单元，用于将法线计算单元计算得到的法线信息带入如下公式得到图像各点的深度信息。
Figure BDA0002192346770000082
其中，F-1表示傅里叶逆变换，
Figure BDA0002192346770000083
为x方向法线的傅里叶系数，/>
Figure BDA0002192346770000084
为y方向法线的傅里叶系数。
实施方式一：
在上述公开方案的基础上，本实施例公开了如下内容：
请参考图1，其是本发明具体实施方式中提供的一种电子元器件外观缺陷检测的方法的实施例的方法流程图。如图1所示，在一些实施例中，该电子元器件外观缺陷检测的方法包括步骤S101～步骤S107，具体内容如下：
步骤S101：首先将一个平面板放入视场中，通过控制不同位置光源的亮暗，采集平面板图像，利用平面板标定光源位置。
搭建包括光源系统和光学采集系统的图像采集端，平面板水平放置于载物台上，通过控制不同位置光源的打开和熄灭，利用光学采集系统中的工业相机对拍摄的平面板图像进行采集，利用采集到的平面板图像进行光源标定。具体的，步骤S101：通过控制不同位置光源的打开和熄灭，利用光学采集系统中的工业相机对拍摄的平面板图像进行采集包括：首先控制光源系统中的第一个光源打开，其他光源熄灭，进行第一张图片采集。之后熄灭第一个光源，打开第二个光源来采集第二张图片。按照同样的操作，每个光源依次打开和熄灭，采集多幅平面板图像。
利用采集到的平面板图像进行光源标定包括：由于平面板水平放置于载物台上，所以在拍摄的图像中平面板各像素点的法线为
Figure BDA0002192346770000091
根据近光源光度公式，拍摄的图像中各像素点的强度为：
Figure BDA0002192346770000092
其中，l表示光源位置，p为像素点位置，e为光源强度，ap为反射率，T表示矩阵转置。假设各个光源的强度相等，那么像素点在每一幅图像中的反射率不变，为
Figure BDA0002192346770000093
反射率的总方差为：
Figure BDA0002192346770000094
其中N为像素点个数，K为光源个数，Ipk由第k个光源得到的图像中第p个像素点的强度，lk为第k个光源的位置，ek为第k个光源的强度，
Figure BDA0002192346770000095
为第p个像素点的法线，Ipk表示第k个光源得到的图像中第p个像素点的强度；
通过最小化反射率的总方差可求得光源位置。
利用非线性最小二乘法求解如下目标函数：
Figure BDA0002192346770000096
初值为：
lk＝[w/2,h/2,max(w,h)]
其中w和h分别为图像的宽和高。
步骤S102：将合格的电子元器件放入视场中，控制不同位置光源的亮暗，采集合格品图像。与步骤S101相似，将电子元器件置于载物台上，通过控制不同位置光源的打开和熄灭，利用光学采集系统中的工业相机对拍摄的电子元器件的图像进行采集。
步骤S103：根据采集的电子元器件图像的亮暗变化，获得合格品每个像素点的法线和反射率。根据近光源光度公式，不同光源位置拍摄得到的多幅图像的能量函数为：
Figure BDA0002192346770000101
其中Ipk表示第k幅图像，第p个像素的强度。光源位置lk可由步骤S101获得。通过最小化能量函数，可获得每个像素点的法线和反射率。
Figure BDA0002192346770000102
步骤S104：根据获得的法线和反射率，得到合格品的深度信息。
Figure BDA0002192346770000103
其中，F-1表示傅里叶逆变换，
Figure BDA0002192346770000104
为x方向法线的傅里叶系数，/>
Figure BDA0002192346770000105
为y方向法线的傅里叶系数。
步骤S105：对深度信息进行网格化处理，得到标准的三维点云数据，用于后续比较。
步骤S106：将待检测的电子元器件放入视场中，重复步骤S102-S105，获得待检测样品的三维点云数据。
步骤S107：将待检测样品的三维点云数据与标准的三维点云数据进行匹配，获得待检测样品的缺陷信息。利用ICP(Iterative Closest Point迭代最近点)算法，将点云数据进行匹配，从而获得缺陷信息并进行标识。其中，ICP算法包括步骤S1071-S1073：
步骤S1071：计算两组点云质心位置p,p′,然后计算每个点的去质心坐标：
qi＝pi-p,qi′＝pi′-p′
步骤S1072：求解如下最优化问题计算旋转矩阵：
Figure BDA0002192346770000111
步骤S1073：根据步骤S1072的结果计算两个点云差异：
t*＝p-Rp′
在一应用场景中，以一个电子元器件为被测物体检测电子元器件磁环和磁芯的崩缺为例，图3是合格的电子元器件的图像，图4为不合格的电子元器件图像，从图3和图4匹配后可以看出，图4中的电子元器件磁环部分右上角存在崩缺，但从颜色差异来看崩缺缺陷显示不明显，所以仅用二维颜色差异容易出现错判情况。图5是合格的电子元器件的深度信息，图6是不合格的电子元器件的深度信息，对比图5和图6可以看出，电子元器件右上角崩缺在深度方向存在明显差异。所以结合深度和颜色信息可对磁环和磁芯的崩缺检测更准确。图7为合格的电子元器件的深度信息和颜色信息，图8为不合格的电子元器件的深度信息和颜色信息。在图3、图5、图7的基础上进行网格化处理，得到合格的三维点云数据，在图4、图6、图8的基础上进行网格化处理，得到不合格的三维点云数据，匹配合格的三维点云数据和不合格的三维点云数据，得到图9的外观缺陷信息。
综上所述，本实施例通过控制光源亮暗，采集合格的电子元器件的若干幅图像，利用每一幅图像之间亮度的差异得到电子元器件上每个像素点的法线，利用法线得出电子元器件的深度信息，并对深度信息进行网格化处理得到合格的电子元器件的三维点云数据，称为标准点云数据。对于待检测的电子元器件，同样利用上述方法得到待检测电子元器件的三维点云数据。将待检测电子元器件的三维点云数据与标准点云数据进行匹配，可得到待检测电子元器件的缺陷信息。本实施例利用非接触式方式进行缺陷检测，同样适用于精密复杂加工件的缺陷检测。
请参考图2，其是本实施方式中提供的一种电子元器件外观缺陷检测系统的实施例的结构方框图。如图2所示，该电子元器件外观缺陷检测系统包括光源控制端10、图像采集端20和图像处理端30。光源控制端10，用于控制光源依次打开和熄灭。图像采集端20，用于当不同位置的光源处于打开状态时拍摄图像，并将拍摄的图像发送给图像处理系统。图像处理端30包括：
计算模块31，用于利用每幅图像的亮度信息和光源位置信息，通过公式计算图像中各点的深度信息。
三维构建模块32，用于对深度信息进行网格化处理得到三维点云数据。
缺陷检测模块33，用于将生成的三维点云数据与标准的三维点云数据进行匹配，得出缺陷信息。
在一些实施例中，计算模块31包括：
光源位置计算单元310，用于通过如下公式计算得到每个光源的位置信息；
Figure BDA0002192346770000121
其中N为像素点个数，K为光源个数，Ipk由第k个光源得到的图像中第p个像素点的强度，lk为第k个光源的位置，ek为第k个光源的强度，/>
Figure BDA0002192346770000122
为第p个像素点的法线。
法线计算单元311，用于通过如下公式得到样品的法线信息；
Figure BDA0002192346770000123
深度信息计算单元312，用于将法线计算单元计算得到的法线信息带入如下公式得到图像各点的深度信息。
Figure BDA0002192346770000124
其中，F-1表示傅里叶逆变换，
Figure BDA0002192346770000131
为x方向法线的傅里叶系数，/>
Figure BDA0002192346770000132
为y方向法线的傅里叶系数。
在一些实施例中，缺陷检测模块33具体用于：利用ICP(Iterative Closest Point迭代最近点)算法，将点云数据进行匹配，从而获得缺陷信息并进行标识。
综上所述，本实施例通过光源控制端来控制光源的亮暗，通过图像采集端，对电子元器件的图像进行采集，通过图像处理端的计算模块、三维构建模块以及缺陷检测模块对采集到的图像进行处理从而得到电子元器件的外观缺陷信息。该系统将二维颜色信息与深度信息相结合对电子元器件进行外观缺陷检测，克服了人工检测与二维机器视觉检测的难点，大大提高了检测准确率和稳定性。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种电子元器件外观缺陷检测的方法，其特征在于，包括以下步骤：
步骤一、对生产线上的每个待检测电子元器件进行三维重建，根据深度信息和颜色信息得到待检测样品的三维点云数据；
步骤二、将待检测样品的三维点云数据与标准的三维点云数据进行匹配，获得待检测电子元器件的缺陷信息；
步骤二中所述标准的三维点云数据获取方法为：对合格的电子元器件进行三维重建，得到合格品的深度信息与颜色信息，形成标准的三维点云数据；
形成标准三维点云数据的具体过程是：(1)通过控制不同位置光源的打开和熄灭，采集合格电子元器件的若干幅图像；(2)根据每幅图像的亮暗变化，获得合格电子元器件上每个像素点的法线和反射率；(3)通过每个像素点的法线得到合格电子元器件的深度信息；(4)对深度信息进行网格化处理得到合格电子元器件的三维点云数据；
所述若干幅图像中的每一幅图像对应一个光源位置，并且可以对所有光源位置进行标定；光源位置的标定利用非线性最小二乘法求解如下目标函数：
Figure FDA0004002294620000011
其中，N为像素点个数，K为光源个数，Ipk由第k个光源得到的图像中第p个像素点的强度，lk为第k个光源的位置，ek为第k个光源的强度，
Figure FDA0004002294620000012
为第p个像素点的法线；
非线性最小二乘法的初值为：lk＝[w/2,h/2,max(w,h)]
其中，w和h分别为图像的宽和高；
每个像素点的法线和反射率获得过程为：根据下述光度立体公式，求解如下的最小二乘问题，可获得每个像素点的法线和反射率：
Figure FDA0004002294620000021
其中，ap为第p个像素点的反射率；
将计算得到的法线信息带入如下公式得到图像各点的深度信息：
Figure FDA0004002294620000022
其中，F-1表示傅里叶逆变换，
Figure FDA0004002294620000023
为x方向法线的傅里叶系数，
Figure FDA0004002294620000024
为y方向法线的傅里叶系数。
2.根据权利要求1所述的电子元器件外观缺陷检测的方法，其特征在于，所述不同位置光源的亮暗不同，使得若干幅图像的亮度存在差异。
3.根据权利要求1-2任一项所述的电子元器件外观缺陷检测的方法，其特征在于，待检测样品的三维点云数据获取方法与标准的三维点云数据获取方法相同。
4.一种基于权利要求1所述的一种电子元器件外观缺陷检测的方法的系统，其特征在于，该系统包括：
光源控制端，用于控制系统中每个光源依次点亮和熄灭；
图像采集端，用于采集图像，并将采集的图像发送给图像处理系统；
图像处理端，包括：计算模块、三维构建模块和缺陷检测模块；
计算模块，包括：光源位置计算单元、法线计算单元、深度信息计算单元，利用每幅图像的亮度信息和光源位置信息，计算图像中各点的深度信息；
三维构建模块，用于对深度信息进行网格化处理得到三维点云数据；
缺陷检测模块，用于将生成的三维点云数据与标准的三维点云数据进行对比，得出缺陷信息。
CN201910836538.9A 2019-09-05 2019-09-05 一种电子元器件外观缺陷检测的方法及系统 Active CN110455815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910836538.9A CN110455815B (zh) 2019-09-05 2019-09-05 一种电子元器件外观缺陷检测的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910836538.9A CN110455815B (zh) 2019-09-05 2019-09-05 一种电子元器件外观缺陷检测的方法及系统

Publications (2)

Publication Number Publication Date
CN110455815A CN110455815A (zh) 2019-11-15
CN110455815B true CN110455815B (zh) 2023-03-24

Family

ID=68490854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836538.9A Active CN110455815B (zh) 2019-09-05 2019-09-05 一种电子元器件外观缺陷检测的方法及系统

Country Status (1)

Country Link
CN (1) CN110455815B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784666A (zh) * 2020-06-30 2020-10-16 深兰科技(达州)有限公司 基于学习记忆的led灯珠缺陷检测方法
CN112078237B (zh) * 2020-08-25 2022-05-27 北京黎马敦太平洋包装有限公司 一种具有自动烫印质量检测装置的烫印系统
CN112014404A (zh) * 2020-08-27 2020-12-01 Oppo（重庆）智能科技有限公司 组件检测方法、装置、系统、电子设备及存储介质
CN112893186B (zh) * 2021-01-13 2022-11-29 山西能源学院 一种led灯丝上电快速视觉检测方法和系统
CN113284109B (zh) * 2021-05-25 2023-08-18 中建三局集团(深圳)有限公司 管道缺陷识别方法、装置、终端设备及存储介质
CN114354607B (zh) * 2021-10-09 2023-10-31 七海测量技术（深圳）有限公司 一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法
CN114812440A (zh) * 2022-04-22 2022-07-29 国网湖北省电力有限公司十堰供电公司 一种基于线结构光的高层建筑防火封堵模块缺陷检测装置及方法
CN115420753A (zh) * 2022-08-25 2022-12-02 哈尔滨工业大学 基于路面纹理测量的污染物分布状况测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009236696A (ja) * 2008-03-27 2009-10-15 Toppan Printing Co Ltd 被写体の３次元画像計測方法、計測システム、並びに計測プログラム
CN106935528A (zh) * 2017-05-08 2017-07-07 合肥市华达半导体有限公司 一种半导体元器件的缺陷检测方法
CN107657656A (zh) * 2017-08-31 2018-02-02 成都通甲优博科技有限责任公司 同名点匹配及三维重建方法、系统和光度立体摄像终端
CN109087395A (zh) * 2018-07-18 2018-12-25 西安多维机器视觉检测技术有限公司 一种三维重建的方法及系统
CN109829886A (zh) * 2018-12-25 2019-05-31 苏州江奥光电科技有限公司 一种基于深度信息的pcb板缺陷检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106780592B (zh) * 2016-06-30 2020-05-22 华南理工大学 基于相机运动和图像明暗的Kinect深度重建方法
CN106228507B (zh) * 2016-07-11 2019-06-25 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法
CN106780726A (zh) * 2016-12-23 2017-05-31 陕西科技大学 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN106989669B (zh) * 2017-02-16 2018-12-07 上海大学 基于虚拟立体靶标的大视场高精度视觉系统标定方法
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN107052086A (zh) * 2017-06-01 2017-08-18 扬州苏星机器人科技有限公司 基于三维视觉的冲压件表面缺陷检测装置及检测方法
CN107403449B (zh) * 2017-08-09 2023-11-24 深度创新科技（深圳）有限公司 一种基于光度立体视觉的视觉系统及其三维重建方法
KR102015706B1 (ko) * 2017-11-23 2019-08-28 울산과학기술원 콘크리트 표면 균열 측정 장치 및 방법
CN109523501A (zh) * 2018-04-28 2019-03-26 江苏理工学院 一种基于降维和点云数据匹配的电池外观缺陷检测方法
CN109146934A (zh) * 2018-06-04 2019-01-04 成都通甲优博科技有限责任公司 一种基于双目立体和光度立体的人脸三维重建方法及系统
CN109087274B (zh) * 2018-08-10 2020-11-06 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009236696A (ja) * 2008-03-27 2009-10-15 Toppan Printing Co Ltd 被写体の３次元画像計測方法、計測システム、並びに計測プログラム
CN106935528A (zh) * 2017-05-08 2017-07-07 合肥市华达半导体有限公司 一种半导体元器件的缺陷检测方法
CN107657656A (zh) * 2017-08-31 2018-02-02 成都通甲优博科技有限责任公司 同名点匹配及三维重建方法、系统和光度立体摄像终端
CN109087395A (zh) * 2018-07-18 2018-12-25 西安多维机器视觉检测技术有限公司 一种三维重建的方法及系统
CN109829886A (zh) * 2018-12-25 2019-05-31 苏州江奥光电科技有限公司 一种基于深度信息的pcb板缺陷检测方法

Also Published As

Publication number Publication date
CN110455815A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110455815B (zh) 一种电子元器件外观缺陷检测的方法及系统
CN110858899B (zh) 一种摄像机机芯光轴中心和视场角的测量方法及系统
CN107869954B (zh) 一种双目视觉体积重量测量系统及其实现方法
CN107702695B (zh) 摄像模组镜头与图像传感器相对位置的测试方法
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN112381827B (zh) 基于视觉图像的快速高精度缺陷检测方法
CN110702035A (zh) 一种基于面结构光的家电喷涂质量检测系统及方法
CN109406527A (zh) 一种微型摄像模组镜头精细外观缺陷检测系统及方法
CN112365502B (zh) 一种基于视觉图像缺陷检测的标对方法
WO2022126871A1 (en) Defect layer detection method and system based on light field camera and detection production line
CN110738644A (zh) 一种基于深度学习的汽车涂装表面缺陷检测方法及系统
CN113252567A (zh) 铝阀板表面多种缺陷快速检测方法、系统、介质、终端
CN110060625B (zh) 一种led显示屏采集渐晕补偿方法
CN114820817A (zh) 基于高精度线激光3d相机的标定方法和三维重建方法
CN104132619A (zh) 一种在线高精度锡膏厚度测试仪及测试方法
CN112848281A (zh) 一种光固化3d打印机光补偿方法
CN112381751A (zh) 一种基于图像处理算法的在线智能检测系统及方法
Xie et al. A high speed AOI algorithm for chip component based on image difference
CN113610929B (zh) 一种相机与多线激光的联合标定方法
CN108508022B (zh) 多相机拼接成像检测方法
CN112179292B (zh) 一种基于投影仪的线结构光视觉传感器标定方法
CN105334706B (zh) 一种基于样板治具薄膜对曝光治具薄膜的检测方法
CN210102906U (zh) 一种微型化电容的自动识别抓取装置
CN107462155A (zh) 一种基于视觉系统的快速检测端子尺寸治具
CN116309325A (zh) 一种基于深度学习的贴片检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method and System for Detecting Appearance Defects in Electronic Components

Effective date of registration: 20230831

Granted publication date: 20230324

Pledgee: Xi'an innovation financing Company limited by guarantee

Pledgor: XI'AN HYPERVISION TECHNOLOGY CO.,LTD.

Registration number: Y2023980054839

PE01 Entry into force of the registration of the contract for pledge of patent right