CN115797359A - 基于电路板上锡膏的检测方法、设备和存储介质 - Google Patents
基于电路板上锡膏的检测方法、设备和存储介质 Download PDFInfo
- Publication number
- CN115797359A CN115797359A CN202310096120.5A CN202310096120A CN115797359A CN 115797359 A CN115797359 A CN 115797359A CN 202310096120 A CN202310096120 A CN 202310096120A CN 115797359 A CN115797359 A CN 115797359A
- Authority
- CN
- China
- Prior art keywords
- solder paste
- circuit board
- image
- current solder
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了基于电路板上锡膏的检测方法、设备和存储介质，方法包括：获取并将电路板标准CAD图纸的平面坐标、整个电路板2D图像的平面坐标和整个电路板3D点云的空间坐标对齐到同一个坐标系下；从整个电路板的2D图像上获取当前锡膏位置所在检测区域的2D图像；对检测区域的2D图像进行RGB色彩抽取，抽取当前锡膏；通过当前锡膏的2D图像和3D点云，分别计算出当前锡膏的位置偏移量、面积和体积。本发明能够对整个电路板上的锡膏进行检测，提高了检测效率；通过锡膏的2D图像和3D点云，获知其平面坐标和空间坐标，提高了锡膏检测精度；通过2D图像和3D点云相结合的方式计算锡膏位置偏移量、面积和体积，可以从多个维度对锡膏进行精检测。
Description
技术领域
本发明涉及电路板图像检测领域，具体为基于电路板上锡膏的检测方法、设备和存储介质。
背景技术
随着技术的发展，集成电路板的生产已实现全自动化，在电路板生产整个流程中，对电路板上备贴元件位置的锡膏进行检测是十分重要的过程之一，因为锡膏的标准会直接影响后续加工工艺，以及整个电路板的质量，尤其是对大数量，高精度，小尺寸，高密集类型的电路板，常见的锡膏管控测量项有，高度，面积，体积，偏移，短路等，目前国内锡膏检测设备已经比较成熟，可以满足绝大多数电路板的锡膏检测，现有锡膏检测设备大多采用2D图像颜色抽取计算锡膏偏移和面积，常见计算原理如下：
通过在3D点云上提取高点和低点计算锡膏的高度，其中低点是元件周围无锡膏位置的平面基准点，高点为锡膏上的均值点或百分占比均值点，体积通过高度和面积进行计算，短路通过2D图像数据颜色抽取计算元件之间的锡膏的比例计算。
但现有技术手段只能看到单个FOV的区域，无法准确对锡膏的位置进行定位，导致测量结果不准确。
发明内容
为克服上述背景技术中现有技术手段只能看到单个FOV的区域和难以检测极小元件（如miniled：90u*180u），无法准确对锡膏的位置进行定位，导致测量结果不准确的缺点，本发明的目的在于提供基于电路板上锡膏的检测方法。
为了达到以上目的，本发明采用如下的技术方案：
本发明的第一方面，提供基于电路板上锡膏的检测方法，包括如下步骤：
获取整个电路板的2D图像和整个电路板的3D点云；
将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下；
从整个电路板的2D图像上获取当前锡膏位置所在检测区域的2D图像；
对所述检测区域的2D图像进行RGB色彩抽取，抽取出当前锡膏；
位置偏移量计算：分别获取当前锡膏在整个电路板的2D图像坐标系中的实际重心坐标，以及在所述电路板标准CAD图纸坐标系中的理论重心坐标，通过所述实际重心坐标和所述理论重心坐标计算出当前锡膏的位置偏移量；
面积计算：从当前锡膏的3D点云中获取当前锡膏的3D点个数，计算当前锡膏的面积，公式如下：
当前锡膏的面积=当前锡膏的3D点个数*当前锡膏的2D图像中单个像素点的面积；
体积计算：遍历所述检测区域中的去当前锡膏区域，剔除不满足当前锡膏的面积阈值区间和高度阈值区间的点，然后拟合当前锡膏所在的基准面，得到当前锡膏的新2D图像，通过离散积分计算当前锡膏的体积，公式如下：
其中，n为当前锡膏的新2D图像中像素点的个数；area(Pxiel)为当前锡膏的新2D图像中单个像素点的面积；Hn为当前锡膏的新2D图像中每一个像素点的高度。
本发明的有益效果在于：通过获取整个电路板的2D图像和整个电路板的3D点云进行锡膏的检测，提高了检测效率；通过将电路板标准CAD图纸的平面坐标、整个电路板2D图像的平面坐标和整个电路板3D点云的空间坐标对齐到同一个坐标系下，通过锡膏的2D图像和3D点云，得到锡膏的平面坐标和空间坐标，提高了锡膏检测精度；通过2D图像和3D点云相结合的方式计算锡膏位置偏移量、面积和体积，可以从多个维度对锡膏进行精检测。
在一些可能的实施方式中，所述获取整个电路板的2D图像和整个电路板的3D点云具体包括如下：
FOV图像采集：获取电路板在不同视场角下的FOV图像数据集，所述FOV图像数据集包括2D图像数据集和3D点云；
2D图像拼接：将所述2D图像数据集中的所有2D图像进行拼接，得到整个电路板的2D图像；
3D点拼接：将所述3D点云中的所有3D点进行拼接，得到整个电路板的3D点云。
在一些可能的实施方式中，所述2D图像拼接具体包括如下：
对所述2D图像数据集中的所有2D图像按照相机的拍摄顺序依次进行拼接，然后对2D图像之间的重叠区域进行图像平滑处理，得到整个电路板的2D图像。
在一些可能的实施方式中，所述3D点拼接具体包括如下：按照相机的拍摄顺序对电路板的每个FOV图像中的3D点进行旋转平移合并成整个电路板的3D点云。
在一些可能的实施方式中，将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下具体如下：
分别获取电路板标准CAD图纸上的理论Mark点坐标和整个电路板的2D图像上的实际Mark点坐标；
通过所述理论Mark点坐标和实际Mark点坐标来计算整个电路板的2D图像相对于电路板标准CAD图纸的旋转平移关系；
根据所述旋转平移关系将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标对齐在同一个坐标系下，将整个电路板的2D图像的平面坐标与整个电路板的3D点云的空间坐标中的X、Y轴坐标一一对应，使得电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下。
在一些可能的实施方式中，如果当前锡膏中有其他锡膏和丝印干扰，则对当前锡膏的2D图像做blob分析，分析出当前锡膏的2D图像以及所述检测区域中与其相连的去当前锡膏区域的2D图像，然后提取出当前锡膏。
在一些可能的实施方式中，对比当前锡膏在电路板标准CAD图纸中的面积阈值区间和高度阈值区间，采用均值法或中值滤波法进行过滤，剔除不满足所述面积阈值区间和高度阈值区间的点。
在一些可能的实施方式中，当前锡膏的实际重心坐标通过其重心高度来确定，当前锡膏的重心高度计算公式如下：
当前锡膏的重心高度=当前锡膏的体积/当前锡膏的面积。
本发明的第二方面，提供基于电路板上锡膏的检测设备，包括
第一获取模块：获取整个电路板的2D图像和整个电路板的3D点云；
坐标系定位模块：将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下；
第二获取模块：从整个电路板的2D图像上获取当前锡膏位置所在检测区域的2D图像；
RGB抽取模块：对所述检测区域的2D图像进行RGB色彩抽取，抽取出当前锡膏；
位置偏移量计算模块：分别获取当前锡膏在整个电路板的2D图像坐标系中的实际重心坐标，以及在所述电路板标准CAD图纸坐标系中的理论重心坐标，通过所述实际重心坐标和所述理论重心坐标计算出当前锡膏的位置偏移量；
面积计算模块：从当前锡膏的3D点云中获取当前锡膏的3D点个数，计算当前锡膏的面积，公式如下：
当前锡膏的面积=当前锡膏的3D点个数*当前锡膏的2D图像中单个像素点的面积；
体积计算模块：遍历所述检测区域中的去当前锡膏区域，剔除不满足当前锡膏的面积阈值区间和高度阈值区间的点，然后拟合当前锡膏所在的基准面，得到当前锡膏的新2D图像，通过离散积分计算当前锡膏的体积，公式如下：
其中，n为当前锡膏的新2D图像中像素点的个数；area(Pxiel)为当前锡膏的新2D图像中单个像素点的面积；Hn为当前锡膏的新2D图像中每一个像素点的高度。
在一些可能的实施方式中，所述获取整个电路板的2D图像和整个电路板的3D点云具体包括如下：
FOV图像采集：获取电路板在不同视场角下的FOV图像数据集，所述FOV图像数据集包括2D图像数据集和3D点云；
2D图像拼接：将所述2D图像数据集中的所有2D图像进行拼接，得到整个电路板的2D图像；
3D点拼接：将所述3D点云中的所有3D点进行拼接，得到整个电路板的3D点云。
在一些可能的实施方式中，所述2D图像拼接具体包括如下：
对所述2D图像数据集中的所有2D图像按照相机的拍摄顺序依次进行拼接，然后对2D图像之间的重叠区域进行图像平滑处理，得到整个电路板的2D图像。
在一些可能的实施方式中，所述3D点拼接具体包括如下：按照相机的拍摄顺序对电路板的每个FOV图像中的3D点进行旋转平移合并成整个电路板的3D点云。
在一些可能的实施方式中，将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下具体如下：
分别获取电路板标准CAD图纸上的理论Mark点坐标和整个电路板的2D图像上的实际Mark点坐标；
通过所述理论Mark点坐标和实际Mark点坐标来计算整个电路板的2D图像相对于电路板标准CAD图纸的旋转平移关系；
根据所述旋转平移关系将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标对齐在同一个坐标系下，将整个电路板的2D图像的平面坐标与整个电路板的3D点云的空间坐标中的X、Y轴坐标一一对应，使得电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下。
在一些可能的实施方式中，如果当前锡膏中有其他锡膏和丝印干扰，则对当前锡膏的2D图像做blob分析，分析出当前锡膏的2D图像以及所述检测区域中与其相连的去当前锡膏区域的2D图像，然后提取出当前锡膏。
在一些可能的实施方式中，所述体积计算模块通过对比当前锡膏在电路板标准CAD图纸中的面积阈值区间和高度阈值区间，采用均值法或中值滤波法进行过滤，剔除不满足所述面积阈值区间和高度阈值区间的点。
在一些可能的实施方式中，当前锡膏的实际重心坐标通过其重心高度来确定，当前锡膏的重心高度计算公式如下：
当前锡膏的重心高度=当前锡膏的体积/当前锡膏的面积。
本发明的第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于电路板上锡膏的检测方法的步骤。
附图说明
图1为本发明实施例基于电路板上锡膏的检测方法的整体步骤流程图；
图2为本发明实施例整个电路板的2D图像和整个电路板的3D点云的获取步骤流程图；
图3为本发明实施例对齐步骤流程图；
图4为本发明实施例基于电路板上锡膏的检测设备的结构示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参见附图1所示，本实施例提供一种基于电路板上锡膏的检测方法，包括如下步骤：
S1:获取整个电路板的2D图像和整个电路板的3D点云，参见附图2所示，具体如下：
S11:FOV图像采集，获取电路板在不同视场角下的FOV图像数据集，所述FOV图像数据集包括2D图像数据集和3D点云。可采用2D相机采集电路板的2D图像，采用3D结构光相机采集电路板的3D点云。由于相机视野限制，对于检测范围比较大的线路板，需要通过机构运动拍多个位置，简称FOV。
S12:2D图像拼接，将所述2D图像数据集中的所有2D图像进行拼接，得到整个电路板的2D图像，具体包括如下：
对所述2D图像数据集中的所有2D图像按照相机的拍摄顺序依次进行拼接，然后对2D图像之间的重叠区域进行图像平滑处理，得到整个电路板的2D图像。
S13:3D点拼接，将所述3D点云中的所有3D点进行拼接，得到整个电路板的3D点云，具体包括如下：按照相机的拍摄顺序对电路板的每个FOV图像中的3D点进行旋转平移合并成整个电路板的3D点云。
2D图像拼接和3D点拼接，提高了电路板上锡膏的检测效率，同时为了实现元件对应的锡膏能够快速在电路板上定位，显示整个电路板的信息，需要对拍到的FOV图像分别做2D图像和3D点云的拼接，由于数据量过大，高达数GB，使用CPU进行图像拼接会非常耗时，因此采用显卡提供的DirectX技术，对多个2D图像做快速的拼接和后处理，其中后处理包括，通过RGB转2D图像的数据格式，如RGB图像转换成HSV,YUV等图像格式，让图像看起来更美观。DirectX技术能做到大数据量图像能在几十毫秒内完成。
上述RGB图像颜色抽取会对图像的丝印做腐蚀处理，用来防止对后面的计算测量造成影响。对于图像拼接和后处理还可采用OpenGL，来加快图像拼接和处理速度。
S2：将电路板标准CAD图纸（包括每个元件对应的锡膏在标准坐标系下的理论位置、长、宽、高、体积和面积等参数）的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下，参见附图3所示，具体如下：
S21：分别获取电路板标准CAD图纸上的理论Mark点坐标和整个电路板的2D图像上的实际Mark点坐标；
S22：通过所述理论Mark点坐标和实际Mark点坐标来计算整个电路板的2D图像相对于电路板标准CAD图纸的旋转平移关系；
S23：根据所述旋转平移关系将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标对齐在同一个坐标系下，将整个电路板的2D图像的平面坐标与整个电路板的3D点云的空间坐标中的X、Y轴坐标一一对应，使得电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下。
S3：从整个电路板的2D图像上获取当前锡膏位置所在检测区域的2D图像；
S4：对所述检测区域的2D图像进行RGB色彩抽取，抽取出当前锡膏。
如果当前锡膏中有其他锡膏和丝印干扰，则对当前锡膏的2D图像做blob分析，分析出当前锡膏的2D图像以及所述检测区域中与其相连的去当前锡膏区域的2D图像，然后提取出当前锡膏,这样可以剔除元件对应的锡膏周围的干扰，提高锡膏检测的精度。
S5：面积计算：从当前锡膏的3D点云中获取当前锡膏的3D点个数，计算当前锡膏的面积，公式如下：
当前锡膏的面积=当前锡膏的3D点个数*当前锡膏的2D图像中单个像素点的面积；
S6：体积计算：对比当前锡膏在电路板标准CAD图纸中的面积阈值区间和高度阈值区间，采用均值法或中值滤波法进行过滤，剔除不满足所述面积阈值区间和高度阈值区间的点，然后拟合当前锡膏所在的基准面，得到当前锡膏的新2D图像，通过离散积分计算当前锡膏的体积，公式如下：
其中，n为当前锡膏的新2D图像中像素点的个数；area(Pxiel)为当前锡膏的新2D图像中单个像素点的面积；Hn为当前锡膏的新2D图像中每一个像素点的高度。
S7：位置偏移量计算：分别获取当前锡膏在整个电路板的2D图像坐标系中的实际重心坐标，以及在所述电路板标准CAD图纸坐标系中的理论重心坐标，通过所述实际重心坐标和所述理论重心坐标计算出当前锡膏的位置偏移量。
当前锡膏的实际重心坐标通过其重心高度来确定，当前锡膏的重心高度计算公式如下：
当前锡膏的重心高度=当前锡膏的体积/当前锡膏的面积。
对于密集型元件，锡膏的重心高度计算结果稳定性更好。
还可以通过检测锡膏是否连锡，来判断元件的短路状况，通过遍历当前锡膏的2D图像和3D点云，锡膏的2D图像从长度和宽度两方面阈值考虑连锡，锡膏的3D点云从高度阈值方面考虑连锡，当前锡膏和其周围锡膏同时满足高度、宽度和长度的阈值，则视作为元件短路。
参见附图4所示，本实施例提供基于电路板上锡膏的检测设备，应用上述包括基于电路板上锡膏的检测方法，所述检测设备包括
第一获取模块：获取整个电路板的2D图像和整个电路板的3D点云；
坐标系定位模块：将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下；
第二获取模块：从整个电路板的2D图像上获取当前锡膏位置所在检测区域的2D图像；
RGB抽取模块：对所述检测区域的2D图像进行RGB色彩抽取，抽取出当前锡膏；
位置偏移量计算模块：分别获取当前锡膏在整个电路板的2D图像坐标系中的实际重心坐标，以及在所述电路板标准CAD图纸坐标系中的理论重心坐标，通过所述实际重心坐标和所述理论重心坐标计算出当前锡膏的位置偏移量；
面积计算模块：从当前锡膏的3D点云中获取当前锡膏的3D点个数，计算当前锡膏的面积，公式如下：
当前锡膏的面积=当前锡膏的3D点个数*当前锡膏的2D图像中单个像素点的面积；
体积计算模块：遍历所述检测区域中的去当前锡膏区域，剔除不满足当前锡膏的面积阈值区间和高度阈值区间的点，然后拟合当前锡膏所在的基准面，得到当前锡膏的新2D图像，通过离散积分计算当前锡膏的体积，公式如下：
其中，n为当前锡膏的新2D图像中像素点的个数；area(Pxiel)为当前锡膏的新2D图像中单个像素点的面积；Hn为当前锡膏的新2D图像中每一个像素点的高度。
在一些实施方式中，所述获取整个电路板的2D图像和整个电路板的3D点云具体包括如下：
FOV图像采集：获取电路板在不同视场角下的FOV图像数据集，所述FOV图像数据集包括2D图像数据集和3D点云；
2D图像拼接：将所述2D图像数据集中的所有2D图像进行拼接，得到整个电路板的2D图像；
3D点拼接：将所述3D点云中的所有3D点进行拼接，得到整个电路板的3D点云。
在一些实施方式中，所述2D图像拼接具体包括如下：
对所述2D图像数据集中的所有2D图像按照相机的拍摄顺序依次进行拼接，然后对2D图像之间的重叠区域进行图像平滑处理，得到整个电路板的2D图像。
在一些实施方式中，所述3D点拼接具体包括如下：按照相机的拍摄顺序对电路板的每个FOV图像中的3D点进行旋转平移合并成整个电路板的3D点云。
在一些实施方式中，将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下具体如下：
分别获取电路板标准CAD图纸上的理论Mark点坐标和整个电路板的2D图像上的实际Mark点坐标；
通过所述理论Mark点坐标和实际Mark点坐标来计算整个电路板的2D图像相对于电路板标准CAD图纸的旋转平移关系；
根据所述旋转平移关系将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标对齐在同一个坐标系下，将整个电路板的2D图像的平面坐标与整个电路板的3D点云的空间坐标中的X、Y轴坐标一一对应，使得电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下。
在一些实施方式中，如果当前锡膏中有其他锡膏和丝印干扰，则对当前锡膏的2D图像做blob分析，分析出当前锡膏的2D图像以及所述检测区域中与其相连的去当前锡膏区域的2D图像，然后提取出当前锡膏。
在一些实施方式中，所述体积计算模块通过对比当前锡膏在电路板标准CAD图纸中的面积阈值区间和高度阈值区间，采用均值法或中值滤波法进行过滤，剔除不满足所述面积阈值区间和高度阈值区间的点。
在一些实施方式中，当前锡膏的实际重心坐标通过其重心高度来确定，当前锡膏的重心高度计算公式如下：
当前锡膏的重心高度=当前锡膏的体积/当前锡膏的面积。
本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于电路板上锡膏的检测方法的步骤。
存储介质存储有能够实现上述所有方法的程序指令，其中，该程序指令可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
其中，处理器还可以称为CPU(Central Processing Unit，中央处理单元)。处理器可能是一种集成电路芯片，具有信号的处理能力。处理器还可以是：
DSP（Digital Signal Processor，数字信号处理器，数字信号处理器是由大规模或超大规模集成电路芯片组成的用来完成某种信号处理任务的处理器。它是为适应高速实时信号处理任务的需要而逐渐发展起来的。随着集成电路技术和数字信号处理算法的发展，数字信号处理器的实现方法也在不断变化，处理功能不断提高和扩大。）
ASIC(ApplicationSpecific Integrated Circuit，专用集成电路，即专用集成电路，是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。
FPGA（现场可编程门阵列，FieldProgrammable Gate Array）是在PAL（ProgrammableArray Logic，可编程阵列逻辑）、GAL（genericarray logic，通用阵列逻辑）等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
通用处理器，所述通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其他可编程逻辑器件、分立门或者晶体管逻辑器件和分立硬件组件等。
以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。
Claims (17)
1.基于电路板上锡膏的检测方法，其特征在于，包括如下步骤：
获取整个电路板的2D图像和整个电路板的3D点云；
将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下；
从整个电路板的2D图像上获取当前锡膏位置所在检测区域的2D图像；
对所述检测区域的2D图像进行RGB色彩抽取，抽取出当前锡膏；
位置偏移量计算：分别获取当前锡膏在整个电路板的2D图像坐标系中的实际重心坐标，以及在所述电路板标准CAD图纸坐标系中的理论重心坐标，通过所述实际重心坐标和所述理论重心坐标计算出当前锡膏的位置偏移量；
面积计算：从当前锡膏的3D点云中获取当前锡膏的3D点个数，计算当前锡膏的面积，公式如下：
当前锡膏的面积=当前锡膏的3D点个数*当前锡膏的2D图像中单个像素点的面积；
体积计算：遍历所述检测区域中的去当前锡膏区域，剔除不满足当前锡膏的面积阈值区间和高度阈值区间的点，然后拟合当前锡膏所在的基准面，得到当前锡膏的新2D图像，通过离散积分计算当前锡膏的体积，公式如下：
其中，n为当前锡膏的新2D图像中像素点的个数；area(Pxiel)为当前锡膏的新2D图像中单个像素点的面积；Hn为当前锡膏的新2D图像中每一个像素点的高度。
2.根据权利要求1所述的基于电路板上锡膏的检测方法，其特征在于，所述获取整个电路板的2D图像和整个电路板的3D点云具体包括如下：
FOV图像采集：获取电路板在不同视场角下的FOV图像数据集，所述FOV图像数据集包括2D图像数据集和3D点云；
2D图像拼接：将所述2D图像数据集中的所有2D图像进行拼接，得到整个电路板的2D图像；
3D点拼接：将所述3D点云中的所有3D点进行拼接，得到整个电路板的3D点云。
3.根据权利要求2所述的基于电路板上锡膏的检测方法，其特征在于，所述2D图像拼接具体包括如下：
对所述2D图像数据集中的所有2D图像按照相机的拍摄顺序依次进行拼接，然后对2D图像之间的重叠区域进行图像平滑处理，得到整个电路板的2D图像。
4.根据权利要求2所述的基于电路板上锡膏的检测方法，其特征在于，所述3D点拼接具体包括如下：按照相机的拍摄顺序对电路板的每个FOV图像中的3D点进行旋转平移合并成整个电路板的3D点云。
5.根据权利要求1所述的基于电路板上锡膏的检测方法，其特征在于，将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下具体如下：
分别获取电路板标准CAD图纸上的理论Mark点坐标和整个电路板的2D图像上的实际Mark点坐标；
通过所述理论Mark点坐标和实际Mark点坐标来计算整个电路板的2D图像相对于电路板标准CAD图纸的旋转平移关系；
根据所述旋转平移关系将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标对齐在同一个坐标系下，将整个电路板的2D图像的平面坐标与整个电路板的3D点云的空间坐标中的X、Y轴坐标一一对应，使得电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下。
6.根据权利要求1所述的基于电路板上锡膏的检测方法，其特征在于，如果当前锡膏中有其他锡膏和丝印干扰，则对当前锡膏的2D图像做blob分析，分析出当前锡膏的2D图像以及所述检测区域中与其相连的去当前锡膏区域的2D图像，然后提取出当前锡膏。
7.根据权利要求1所述的基于电路板上锡膏的检测方法，其特征在于，对比当前锡膏在电路板标准CAD图纸中的面积阈值区间和高度阈值区间，采用均值法或中值滤波法进行过滤，剔除不满足所述面积阈值区间和高度阈值区间的点。
8.根据权利要求1所述的基于电路板上锡膏的检测方法，其特征在于，当前锡膏的实际重心坐标通过其重心高度来确定，当前锡膏的重心高度计算公式如下：
当前锡膏的重心高度=当前锡膏的体积/当前锡膏的面积。
9.基于电路板上锡膏的检测设备，其特征在于，包括
第一获取模块：获取整个电路板的2D图像和整个电路板的3D点云；
坐标系定位模块：将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下；
第二获取模块：从整个电路板的2D图像上获取当前锡膏位置所在检测区域的2D图像；
RGB抽取模块：对所述检测区域的2D图像进行RGB色彩抽取，抽取出当前锡膏；
位置偏移量计算模块：分别获取当前锡膏在整个电路板的2D图像坐标系中的实际重心坐标，以及在所述电路板标准CAD图纸坐标系中的理论重心坐标，通过所述实际重心坐标和所述理论重心坐标计算出当前锡膏的位置偏移量；
面积计算模块：从当前锡膏的3D点云中获取当前锡膏的3D点个数，计算当前锡膏的面积，公式如下：
当前锡膏的面积=当前锡膏的3D点个数*当前锡膏的2D图像中单个像素点的面积；
体积计算模块：遍历所述检测区域中的去当前锡膏区域，剔除不满足当前锡膏的面积阈值区间和高度阈值区间的点，然后拟合当前锡膏所在的基准面，得到当前锡膏的新2D图像，通过离散积分计算当前锡膏的体积，公式如下：
其中，n为当前锡膏的新2D图像中像素点的个数；area(Pxiel)为当前锡膏的新2D图像中单个像素点的面积；Hn为当前锡膏的新2D图像中每一个像素点的高度。
10.根据权利要求9所述的基于电路板上锡膏的检测设备，其特征在于，所述获取整个电路板的2D图像和整个电路板的3D点云具体包括如下：
FOV图像采集：获取电路板在不同视场角下的FOV图像数据集，所述FOV图像数据集包括2D图像数据集和3D点云；
2D图像拼接：将所述2D图像数据集中的所有2D图像进行拼接，得到整个电路板的2D图像；
3D点拼接：将所述3D点云中的所有3D点进行拼接，得到整个电路板的3D点云。
11.根据权利要求10所述的基于电路板上锡膏的检测设备，其特征在于，所述2D图像拼接具体包括如下：
对所述2D图像数据集中的所有2D图像按照相机的拍摄顺序依次进行拼接，然后对2D图像之间的重叠区域进行图像平滑处理，得到整个电路板的2D图像。
12.根据权利要求10所述的基于电路板上锡膏的检测设备，其特征在于，所述3D点拼接具体包括如下：按照相机的拍摄顺序对电路板的每个FOV图像中的3D点进行旋转平移合并成整个电路板的3D点云。
13.根据权利要求9所述的基于电路板上锡膏的检测设备，其特征在于，将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下具体如下：
分别获取电路板标准CAD图纸上的理论Mark点坐标和整个电路板的2D图像上的实际Mark点坐标；
通过所述理论Mark点坐标和实际Mark点坐标来计算整个电路板的2D图像相对于电路板标准CAD图纸的旋转平移关系；
根据所述旋转平移关系将电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标对齐在同一个坐标系下，将整个电路板的2D图像的平面坐标与整个电路板的3D点云的空间坐标中的X、Y轴坐标一一对应，使得电路板标准CAD图纸的平面坐标、整个电路板的2D图像的平面坐标和整个电路板的3D点云的空间坐标对齐到同一个坐标系下。
14.根据权利要求9所述的基于电路板上锡膏的检测设备，其特征在于，如果当前锡膏中有其他锡膏和丝印干扰，则对当前锡膏的2D图像做blob分析，分析出当前锡膏的2D图像以及所述检测区域中与其相连的去当前锡膏区域的2D图像，然后提取出当前锡膏。
15.根据权利要求9所述的基于电路板上锡膏的检测设备，其特征在于，所述体积计算模块通过对比当前锡膏在电路板标准CAD图纸中的面积阈值区间和高度阈值区间，采用均值法或中值滤波法进行过滤，剔除不满足所述面积阈值区间和高度阈值区间的点。
16.根据权利要求9所述的基于电路板上锡膏的检测设备，其特征在于，当前锡膏的实际重心坐标通过其重心高度来确定，当前锡膏的重心高度计算公式如下：
当前锡膏的重心高度=当前锡膏的体积/当前锡膏的面积。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的基于电路板上锡膏的检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310096120.5A CN115797359B (zh) | 2023-02-10 | 2023-02-10 | 基于电路板上锡膏的检测方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310096120.5A CN115797359B (zh) | 2023-02-10 | 2023-02-10 | 基于电路板上锡膏的检测方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797359A true CN115797359A (zh) | 2023-03-14 |
| CN115797359B CN115797359B (zh) | 2023-06-16 |
Family
ID=85430821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310096120.5A Active CN115797359B (zh) | 2023-02-10 | 2023-02-10 | 基于电路板上锡膏的检测方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797359B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116206381A (zh) * | 2023-05-04 | 2023-06-02 | 深圳市中际宏图科技有限公司 | 一种基于机器视觉的摄像头模组生产管理监测分析系统 |
| CN116823832A (zh) * | 2023-08-29 | 2023-09-29 | 武汉精一微仪器有限公司 | 一种基于三维点云的锡膏缺陷检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05272938A (ja) * | 1992-03-25 | 1993-10-22 | Hitachi Denshi Ltd | 外観検査方法及び装置 |
| JP2003315014A (ja) * | 2002-04-19 | 2003-11-06 | Fujitsu Ltd | 検査方法及び検査装置 |
| CN107255673A (zh) * | 2017-05-05 | 2017-10-17 | 西安交通大学 | 基于超声相控阵的高温叶片内部缺陷三维无损检测方法 |
| US20180075618A1 (en) * | 2016-09-10 | 2018-03-15 | Industrial Technology Research Institute | Measurement system and method for measuring multi-dimensions |
| US20190258225A1 (en) * | 2017-11-17 | 2019-08-22 | Kodak Alaris Inc. | Automated 360-degree dense point object inspection |
| WO2021179988A1 (zh) * | 2020-03-09 | 2021-09-16 | 长沙智能驾驶研究院有限公司 | 基于三维激光的集卡防砸检测方法、装置和计算机设备 |
| CN115205218A (zh) * | 2022-06-17 | 2022-10-18 | 浙江西图盟数字科技有限公司 | 一种软排线装配检测方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-10 CN CN202310096120.5A patent/CN115797359B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05272938A (ja) * | 1992-03-25 | 1993-10-22 | Hitachi Denshi Ltd | 外観検査方法及び装置 |
| JP2003315014A (ja) * | 2002-04-19 | 2003-11-06 | Fujitsu Ltd | 検査方法及び検査装置 |
| US20180075618A1 (en) * | 2016-09-10 | 2018-03-15 | Industrial Technology Research Institute | Measurement system and method for measuring multi-dimensions |
| CN107255673A (zh) * | 2017-05-05 | 2017-10-17 | 西安交通大学 | 基于超声相控阵的高温叶片内部缺陷三维无损检测方法 |
| US20190258225A1 (en) * | 2017-11-17 | 2019-08-22 | Kodak Alaris Inc. | Automated 360-degree dense point object inspection |
| WO2021179988A1 (zh) * | 2020-03-09 | 2021-09-16 | 长沙智能驾驶研究院有限公司 | 基于三维激光的集卡防砸检测方法、装置和计算机设备 |
| CN115205218A (zh) * | 2022-06-17 | 2022-10-18 | 浙江西图盟数字科技有限公司 | 一种软排线装配检测方法、装置、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116206381A (zh) * | 2023-05-04 | 2023-06-02 | 深圳市中际宏图科技有限公司 | 一种基于机器视觉的摄像头模组生产管理监测分析系统 |
| CN116823832A (zh) * | 2023-08-29 | 2023-09-29 | 武汉精一微仪器有限公司 | 一种基于三维点云的锡膏缺陷检测方法 |
| CN116823832B (zh) * | 2023-08-29 | 2023-12-12 | 武汉精一微仪器有限公司 | 一种基于三维点云的锡膏缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797359B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115797359B (zh) | 基于电路板上锡膏的检测方法、设备和存储介质 | |
| JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
| JP2021184307A (ja) | ビジョンシステムでラインを検出するためのシステム及び方法 | |
| CN101303226A (zh) | 一种基于最大连通域的线路板线宽测量方法 | |
| CN104634242A (zh) | 探针补点系统及方法 | |
| CN111307039A (zh) | 一种物体长度识别方法、装置、终端设备和存储介质 | |
| CN110400315A (zh) | 一种缺陷检测方法、装置及系统 | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| CN110879131B (zh) | 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备 | |
| CN112233076A (zh) | 基于红色圆标靶图像处理的结构振动位移测量方法及装置 | |
| CN104749801B (zh) | 高精度自动光学检测方法和系统 | |
| JP2016119090A (ja) | 取得された画像内のクラッタを決定するためのシステム及び方法 | |
| CN106017328B (zh) | 一种多类型线宽测量方法及装置 | |
| TW201915443A (zh) | 基於影像尺的定位量測系統 | |
| CN115272291A (zh) | 一种贴膜的缺陷检测方法、装置、设备及存储介质 | |
| CN115564723A (zh) | 一种晶圆缺陷检测方法及应用 | |
| US8274597B2 (en) | System and method for measuring a border of an image of an object | |
| CN112102391A (zh) | 测量方法及装置、电子设备及存储介质 | |
| CN116993654A (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
| CN106296688B (zh) | 基于全局估计的影像模糊检测方法及系统 | |
| CN117115233B (zh) | 一种基于机器视觉的尺寸测量方法、装置及电子设备 | |
| CN117173156B (zh) | 基于机器视觉的极片毛刺检测方法、装置、设备及介质 | |
| CN116182807B (zh) | 一种姿态信息确定方法、装置、电子设备、系统和介质 | |
| CN115631249B (zh) | 一种相机校正方法、装置、设备和存储介质 | |
| CN114820613B (zh) | 一种smt贴片加工用来料测量及定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |