CN115980012A - 医疗检测电路板涂胶多角度检测系统及其检测方法 - Google Patents
医疗检测电路板涂胶多角度检测系统及其检测方法 Download PDFInfo
- Publication number
- CN115980012A CN115980012A CN202310088805.5A CN202310088805A CN115980012A CN 115980012 A CN115980012 A CN 115980012A CN 202310088805 A CN202310088805 A CN 202310088805A CN 115980012 A CN115980012 A CN 115980012A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- light source
- circuit board
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000004026 adhesive bonding Methods 0.000 title claims abstract description 48
- 239000003292 glue Substances 0.000 claims abstract description 55
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 11
- 230000001681 protective effect Effects 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims abstract description 10
- 239000000843 powder Substances 0.000 claims abstract description 10
- 239000000853 adhesive Substances 0.000 claims abstract description 9
- 230000001070 adhesive effect Effects 0.000 claims abstract description 9
- 238000012634 optical imaging Methods 0.000 claims abstract description 4
- 239000011247 coating layer Substances 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000013519 translation Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 26
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000012535 impurity Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000010410 layer Substances 0.000 claims description 5
- 238000005311 autocorrelation function Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000005314 correlation function Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000010073 coating (rubber) Methods 0.000 claims description 2
- 238000000576 coating method Methods 0.000 abstract description 10
- 239000011248 coating agent Substances 0.000 abstract description 9
- 239000003086 colorant Substances 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及医疗检测电路板涂胶多角度检测系统及检测方法,摄像头模块与网络交换机相连,网络交换机连接至主控计算机,四只摄像头模块的前端装有用于光学成像的镜头;四只摄像头模块、四只紫外条形光源和平面光源安装在固定机构上;光源控制器连接紫外条形光源和平面光源,光源控制器连接主控计算机,主控计算机控制光源控制器,控制紫外条形光源和平面光源的开关及亮度;照亮涂胶层的紫外条形光源,发出紫外光线与涂敷在电路板和元器件表面的胶水中荧光粉产生荧光效应,电路板和元器件有胶的部位发出蓝光;照亮电路板表面的平面光源,发出柔和白光,照射下涂敷的防护胶呈透明状,电路板和元器件呈现原来颜色。检测三防胶涂覆情况及是否有漏胶。
Description
技术领域
本发明涉及一种涂胶测试系统及方法,尤其涉及医疗检测电路板涂胶多角度检测系统及其检测方法,用于对防护等级要求较高如轨道交通、医疗器械、汽车电子等领域电路板防护胶涂覆检测。
背景技术
目前,防护胶涂覆是一种常见的电路板防护手段,防护胶会在电子线路和器件上形成保护层,能增强电子线路和元器件的防潮防污能力,能有效防止焊点和导体受到侵蚀,还能防止线路短路,提高线路板绝缘性能。
防护胶本身是透明无色或者淡色的,常规情况下很难检测其涂覆情况,为了便于检测,在胶水中添加荧光剂,这样防护胶在紫外光照射下荧光剂会产生荧光效应,呈现蓝色,便于检测。
防护胶涂覆过程中,因为生产工艺的原因,很容易出现气泡、缺胶和溢胶的现象,缺胶和气泡会导致被保护的电路和器件没有得到很好的保护,而溢胶如果溢到有电气接口上会导致电气接触不良,因此必须通过检验保证涂胶质量。
近年来出现了专门检测电路板涂胶质量的AOI设备,但这些设备都只能检测电路板以及元器件正面的涂胶情况,这对要求不太高领域的电路板是足够了,但是一些要求较高的,如轨道交通、医疗器械、汽车电子、航天电子等领域的电路板对三防漆涂覆有严格的要求,不仅需要检测元器件的正面的涂胶情况,一些高度较高的元器件,如变压器、继电器、Mos管等元器件的侧边的涂胶也需要检测,这些地方恰恰是三防漆涂覆最容易出问题的地方,另外安装孔的内壁,有电气连接功能的孔径等地方不能有胶,否则容易出现安装不良,电气连接不良等情况。对于这些现有的AOI设备检测的盲区,目前还只能通过人工复检,检测效率十分低下,漏判错判十分普遍。
常规的AOI设备为了固定摄像头与电路板之间的空间相对角度和位移,需要将电路板利用夹具固定在被测台上,不但操作不便,影响效率,还容易造成电路板在测试过程中被磕伤、擦伤,造成元器件的破损和涂胶层的损伤。
发明内容
本发明的目的是克服现有技术存在的不足,提供一种医疗检测电路板涂胶多角度检测系统及其检测方法。
本发明的目的通过以下技术方案来实现:
医疗检测电路板涂胶多角度检测系统,特点是:包含主控计算机、网络交换机、四只摄像头模块、光源控制器、四只紫外条形光源以及平面光源;
摄像头模块通过POE接口与网络交换机相连,网络交换机通过网口连接至主控计算机,四只摄像头模块的前端装有用于光学成像的镜头;
四只摄像头模块、四只紫外条形光源和平面光源安装在固定机构上;
用于驱动四只紫外条形光源和平面光源的光源控制器分别连接四只紫外条形光源和平面光源,光源控制器通过串口总线连接主控计算机,主控计算机控制光源控制器,进而控制紫外条形光源和平面光源的开关及亮度;
用于照亮涂胶层的四只紫外条形光源,发出紫外光线与涂敷在电路板和元器件表面的胶水中荧光粉产生荧光效应,使电路板和元器件有胶的部位发出蓝光;
用于照亮电路板表面的平面光源,发出柔和白光,照射下涂敷的防护胶呈透明状,使电路板和元器件呈现原来的颜色。
进一步地,上述的医疗检测电路板涂胶多角度检测系统,其中,四只摄像头模块安装在固定机构上部的四角位置,四只紫外条形光源倾斜安装在固定机构底部的四角位置,平面光源安装在固定机构的内部,固定机构固定在横梁上。
进一步地,上述的医疗检测电路板涂胶多角度检测系统,其中,紫外条形光源与被测电路板之间的距离是50mm~70mm。
进一步地,上述的医疗检测电路板涂胶多角度检测系统,其中,四只摄像头模块是型号为A3B00M/CG000的彩色摄像头,采用POE供电,其类型为CMOS,分辨率为5472*3648;前端安装的镜头是型号为MT2528X的镜头,其焦距为25mm,接口为C-Mount。
进一步地,上述的医疗检测电路板涂胶多角度检测系统,其中,四只紫外条形光源是型号为JL-LR86X30UV的紫外环形光源,平面光源是型号为JL-BRL-100*100的面阵光源。
进一步地,上述的医疗检测电路板涂胶多角度检测系统,其中,光源控制器是型号为JL-APS-15024-6的光源驱动器。
本发明医疗检测电路板涂胶多角度检测方法,包括以下步骤:
a)首先标定四个摄像头模块的固定参数,标定四个摄像头模块内部参数,四个摄像头模块的相互空间平移和角度,计算平移矩阵和旋转矩阵,固定参数于设备安装调试后进行标定,如果设备硬件未变化,只需要标定一次即可;摄像头模块内部参数的标定利用特征已知的标定板在摄像头模块采集的图像信息计算得到,四个摄像头模块之间的平移矩阵和旋转矩阵,利用同一标定板在四个摄像头模块视野重叠区域内采集到的图像数据计算得到;
b)主控计算机通过光源控制器将平面光源调节至预设亮度,主控计算机通过网络交换机对四个摄像头模块依次采图,并将采到的图像进行灰度值预处理;
c)计算摄像头模块外部参数,摄像头模块外部参数是摄像头模块坐标系和电路板坐标系之间的平移矩阵和旋转矩阵,利用Harris算法实时计算平面光源下采集的图片角点,与主控计算机储存的样板图片角点做匹配,得到低精度的摄像头模块外部参数,结合电路板特征点坐标信息,确定电路板特征点区域,使用特征点轮廓匹配,取得特征点在图像中的坐标,进而计算得到准确的一个摄像头模块外部参数,利用摄像头模块之间平移矩阵和旋转矩阵,得到剩余摄像头模块的外部参数;
d)二维图像中确定三维模型投影区域,调用被测物体的三维信息,元器件的坐标、元器件的长宽高、孔径的半径、孔径的深度,结合摄像头模块的内部参数和外部参数,进而计算出被测面在二维图像中的投影区域;
e)主控计算机通过光源控制器将紫外光元调节至预设亮度,主控计算机通过网络交换机控制摄像头模块依次采图,将图片分解成红绿蓝三个通道的图像数据,选取蓝色通道的图像数据组成灰度图像;
f)从紫外光图片中裁剪出被测面投影区域图片,图片经过对比度归一化处理以消除照明变化影响,通过Blob分析去除杂点,判断检测区域内的是否有溢胶或漏胶,将检测结果显示或者以.txt文件形式导出。
更进一步地,上述的医疗检测电路板涂胶多角度检测方法,由固定参数标定模块,利用标定板图像分别标定四个摄像头模块的内部参数,用同一标定板对应于四个摄像头模块的图像计算四个摄像头模块之间的旋转矩阵和平移矩阵;由平面光源控制和摄像头采图以及图像预处理模块,将平面光调节至预设亮度,控制四个摄像头模块依次采图,并对图像进行处理;由摄像头外部参数计算模块,利用图像角点匹配计算摄像头的参数,将电路板的特征点框定在一区域,再利用模板匹配找到电路板特征点的坐标数据,利用数据计算摄像头外部参数;由二维图像中确定三维模型投影区域模块,调用被测物体的三维信息,结合摄像头模块的内部参数和外部参数计算被测面在二维图像中的投影区域;由紫外光源控制和摄像头采图以及图像预处理模块,将紫外光调节至预设亮度,控制四个摄像头模块依次采图,并对图像进行处理;检测区域内的涂胶情况判定模块,将需要检测的区域图像从紫外光图像中裁剪出,进行图像处理,判断漏胶或溢胶,将测试结果显示与导出。
更进一步地,上述的医疗检测电路板涂胶多角度检测方法,所述固定参数标定模块包含四个摄像头内部参数标定模块和四个摄像头之间空间位移角度标定模块,摄像头内部参数包括镜头焦距、像元尺寸、镜头畸变系数;所述平面光源控制和摄像头采图以及图像预处理模块,利用232接口向光源控制器发送指令,将连接在光源控制器上的平面光源调节至预设亮度,利用网络交换机依次控制四个摄像头采集图片并对图像进行RGB转灰度图像处理;所述摄像头外部参数计算模块,利用采集到的图片,结合预存的模板电路板参数,计算出各个摄像头的外部参数;所述紫外光源控制和摄像头采图以及图像预处理模块,利用232接口向光源控制器发送指令,将连接在光源控制器上的四个紫外条形光源调节至预设亮度,利用网络交换机依次控制四个摄像头采集图片,将图像分解并提取蓝色通道的图像数据;所述二维图像中确定三维模型投影区域模块,利用四个摄像头的内部参数和外部参数,结合被测物预存的3D模型尺寸,确定被测面在二维图像中的投影区域即检测区域;所述检测区域内的涂胶情况判定模块,裁剪检测区域的紫外图像,对其可靠的对比度归一化处理,消除照明变化的影响,通过Blob分析去除杂点,二值化处理、形态学处理,判断所框定的区域是否有溢胶或漏胶的异常;
所述固定参数标定模块包含四个摄像头内部参数标定模块和四个摄像头之间空间位移角度标定模块,将实际电路板的三维空间投影到图像的二维空间,得到准确的摄像头内部参数,包括镜头焦距、像元尺寸、镜头畸变系数,利用摄像头对标定板进行多次图片采集,将采集到的图片先后进行灰度转换、去噪、二值化处理、形态学处理和轮廓提取,获取图像中标定板的点位坐标和外轮廓信息,对比标准库中存储的标定板信息,计算出镜头焦距、像元尺寸、镜头畸变系数;四个摄像头之间空间位移和角度的计算,需将标定板放置在四个摄像头视野重叠区域,利用同一静态物体在各个摄像头中不同的成像计算出其空间位移和角度;
所述平面光源控制和摄像头采图以及图像预处理模块包含平面光控制模块、摄像头控制模块和图像预处理模块,平面光源控制模块通过串口向光源控制器发送指令,打开安装在光源控制器一通道上的白色光源,并且调节至预定的亮度;
摄像头控制模块控制摄像头第一次采集图片:装有多个摄像头,通过网络交换机与主控计算机连接,摄像头控制模块通过网络交换机依次控制每个摄像头进行图片采集,采集到的图片是电路板在白光下的图片,采集到的是彩色图片,将图片分解为RGB三个通道,按照2:4:4的权重将三个通道的图像数据整合到一个通道,变成灰度图片,其单个数据范围为0~255,0表示最暗,255表示最亮;
摄像头外部参数计算模块包含图像角点匹配模块和电路板特征点定位匹配模块,实时计算电路板所在的世界坐标系和摄像头的摄像头坐标系之间的关系,世界坐标系WCS任意的点需转换到摄像机坐标系CCS中,CCS定义原点位移投影的中心,其x轴和y轴分别平行于图像的列轴和行轴,其z轴垂直于像平面且确定其方向为:在摄像机前面的所有点的z坐标为正数,从世界坐标系到摄像机坐标系的变化为刚性变化,即平移和旋转,世界坐标系中的点Pw可由摄像头坐标系来确定;
Pc=R.Pw+T
其中,T=(tx,ty,tz)T是一个平移向量,R=R(α,β,γ)是一个旋转矩阵,γ是绕CCS的z轴旋转,β是绕y轴旋转,α是绕x轴旋转;
R和T的六个参数α,β,γ,tx,ty,tz为摄像机外部参数或摄像机的姿态;
电路板放置于被测台上,因背面元器件的影响无法放平,故每次放置的时候电路板本身的坐标系和摄像头的坐标系是变换的,即摄像机的外部参数在每次测试的时候是变换的,无法使用常规的标定板标定的方式来确定摄像头外部参数;
采用Harris图像角点检测匹配计算,使用电路板特征点定位匹配的方法实现高精度计算;
角点是图像重要特征,如果一个平面的物体在摄像头不同角度拍摄的图片中,角点的位置是固定的,人眼对角点的识别通常是在一个局部的小区域或小窗口完成,如在各个方向上移动这特征的小窗口,窗口内区域的灰度发生变化,认为在窗口内遇到了角点;如果这特定的窗口在图像各个方向上移动时,窗口内图像的灰度未发生变化,窗口内就不存在角点;如果窗口在某一个方向移动时,窗口内图像的灰度发生较大的变化,而在另一些方向上未发生变化,那么窗口内的图像可能就是一条直线的线段;
将图像窗口平移[u,v]产生的灰度变化的自相关函数如下:
其中,w(x,y)是权重矩阵,I(x+u,y+u)是平移后的图像灰度,I(x,y)是平移前的图像灰度,基于灰度的自相关函数,如其发生重大变化则表明该坐标是一个角点;通过分析摄像头实时采集的图像的角点对比预存的标准图片的角点,得到摄像头的外部参数,计算得到外部参数的T有1mm的偏差,R有0.5度的偏差,电路板上有元器件,在不同的角度下拍摄角点有偏移,使用外部参数确定电路板的大体位置,使用一个较大的区域锁定电路板上的特征点,mark点、焊盘的标志,进一步使用形状匹配的方法,确定mark点、焊盘的标志在图像中的坐标,对比实际电路板上标志的坐标,计算摄像头的外部参数;
四个摄像头之间的位置是固定的,另外三个摄像头的坐标系可通过第一个坐标系平移和旋转得到,其平移矩阵和旋转矩阵已在固定参数标定模块中计算得到,故另外三个摄像头的外部参数可通过矩阵运算得到;
所述紫外光源控制和摄像头采图以及图像预处理模块包含紫外光控制模块、摄像头控制模块和图像预处理模块,紫外光控制模块开启紫外光源,紫外光控制模块通过串口向光源控制器发送指令,关闭安装在光源控制器通道上的白色光源,打开安装在光源控制器通道上的紫外光源,摄像头控制模块控制摄像头第二次采集图片,白色光源已关闭,紫外光源打开,电路板上覆盖的三防胶中的荧光粉在紫外光的照射下出现荧光效应呈现蓝色,摄像头控制模块通过交换机依次控制每个摄像头进行图片采集,将图片按RGB分解成三个通道,提取通道的图像数据;
所述二维图像中确定三维模型投影区域模块包含被测物三维信息调用和投影区域计算模块,得到摄像头内部参数和外部参数参后,结合元器件实际的高度,确定元器件侧边在图像中出现的准确位置;
元器件高度为△z,顶点在图像中和在基平面上移动距离△r的点重合,公式表示如下:
r表示摄像头镜头中心到被测点的水平位移,z摄像头镜头中心到被测面的表示垂直距离;
录入被测物的三维信息,被测物的三维信息包含元器件的水平和垂直坐标、元器件的长宽高、孔径的水平和垂直坐标、孔径的半径、孔径的深度,结合每个摄像头的内部参数和外部参数,有足够的信息从每个摄像头拍摄的二维图中确定三维物体的投影;
所述检测区域内的涂胶情况判定模块包含区域图像处理模块、漏胶判断模块、溢胶判断模块以及测试结果显示与导出模块,通过对区域图像分析,判断涂胶质量,在紫外光线的照射下,电路板涂胶层中掺杂的荧光粉产生荧光效应,发出蓝色的光,对彩色RGB图像进行分解,留下B通道的图像数据,单个像素的数据的范围为0~255,其中0表示最暗点,255表示最亮点,图像进行可靠的对比度归一化处理,消除照明变化的影响,通过Blob分析去除杂点,判断所框定的区域是否有溢胶或漏胶的异常,其结果在界面上显示出来,记录结果,通过.txt文件形式导出。
更进一步地,上述的医疗检测电路板涂胶多角度检测方法,将电路板的三维空间投影到图像的二维空间,得到准确的摄像头内部参数,包括镜头焦距、像元尺寸、镜头畸变系数;
三维空间中的点P的空间坐标为(x,y,z),从摄像头坐标系中投影到成像平面中其转换关系,其公式表示为:
其中,(u,v)T是P点投影到像平面上的二维坐标,f为镜头的焦距,(x,y,z)是P点的空间坐标;
空间坐标系中的点到图像坐标系的点的变化关系图;
投影到像平面后,镜头畸变导致坐标(u,v)T发生变化,其模型如下:
从像坐标系转换过来的点(u,v)T转换到图像坐标系,即变成像素点
为得到内部参数,使用摄像头拍摄标定板,通过标定板的成像,对应于标定板中关键点的大小、位置信息,计算出镜头焦距f、k表示径向畸变量级、像元sxsy摄像头内部参数;四个摄像头和镜头是相同型号,因四个摄像头的位置不同,镜头调焦和调节光圈,扩大差异性,每个摄像头单独标定,如果镜头的光圈和焦距被调整后需要重新标定;
得到摄像头内部参数和外部参数后,结合元器件实际的高度,确定元器件侧边在图像中出现的准确位置;
元器件高度为△z,顶点在图像中和在基平面上移动距离△r的点重合,公式表示如下:
△z表示元器件高度,△r表示因元器件高度造成的在基平面上的平移距离,r表示摄像头镜头中心到被测点的水平位移,z表示摄像头镜头中心到被测面的表示垂直距离。
本发明与现有技术相比具有显著的优点和有益效果,具体体现在以下方面:
本发明不仅检测电路板正面三防胶涂覆情况,对于电路板上较高的元器件如变压器、继电器、Mos管等元器件的侧边也能检测出是否有漏胶的情况,另外对于安装孔的内壁,有电气连接功能的孔径等部位检测出是否有溢胶的情况;不同于传统的AOI,无需要高精度的夹具将电路板固定在测试台的固定位置上,也无需将电路板彻底放平才能测试,只需要将电路板放置在摄像头的视野范围内就可以检测;能覆盖普通AOI检测机无法测试到的盲区,如元器件的侧边、孔径内部;
结构简洁,只需要四个摄像头和光源的相对位置固定,不需要高精度的夹具系统将电路板固定,大大降低了成本,避免电路板在测试过程中被磕伤擦伤的现象;检测操作简便,只需将电路板放到测试范围内,无需考虑电路板是否放平和放正等问题。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明具体实施方式了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1:本发明检测系统的结构示意图;
图2:固定机构的轴测示意图;
图3:固定机构的主视示意图;
图4:本发明检测方法的流程示意图;
图5:空间坐标系中的点到于图像坐标系的点的变化关系图;
图6:元器件高度造成其顶点在图像中的偏移示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,方位术语和次序术语等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如图1~3所示,医疗检测电路板涂胶多角度检测系统,包含主控计算机1、网络交换机2、四只摄像头模块、光源控制器7、四只紫外条形光源以及平面光源12;
摄像头模块一3、摄像头模块二4、摄像头模块三5、摄像头模块四6、通过POE接口与网络交换机2相连,网络交换机2通过网口连接至主控计算机1,四只摄像头模块的前端装有用于光学成像的镜头;
摄像头模块一3、摄像头模块二4、摄像头模块三5、摄像头模块四6、紫外条形光源一8、紫外条形光源二9、紫外条形光源三10、紫外条形光源四11和平面光源12安装在固定机构13上;
用于驱动四只紫外条形光源和平面光源12的光源控制器7分别连接紫外条形光源一8、紫外条形光源二9、紫外条形光源三10、紫外条形光源四11和平面光源12,光源控制器7通过串口总线连接主控计算机1,主控计算机1控制光源控制器7,进而控制紫外条形光源一8、紫外条形光源二9、紫外条形光源三10、紫外条形光源四11和平面光源12的开关及亮度;
用于照亮涂胶层的紫外条形光源一8、紫外条形光源二9、紫外条形光源三10、紫外条形光源四11,发出紫外光线与涂敷在电路板和元器件表面的胶水中荧光粉产生荧光效应,使电路板和元器件有胶的部位发出蓝光;
用于照亮电路板表面的平面光源12,发出柔和白光,照射下涂敷的防护胶呈透明状,使电路板和元器件呈现原来的颜色。
控制白色平板光源和紫外光源,控制多个不同角度的摄像头依次对电路板进行采图。
摄像头模块一3、摄像头模块二4、摄像头模块三5、摄像头模块四6安装在固定机构13上部的四角位置,紫外条形光源一8、紫外条形光源二9、紫外条形光源三10、紫外条形光源四11倾斜安装在固定机构13底部的四角位置,平面光源12安装在固定机构的内部,减少外部杂光的影响,固定机构13通过顶部的六个螺丝孔固定在横梁上。紫外光随着距离的增加,衰减非常严重,紫外条形光源与被测电路板之间的距离是50mm~70mm,距离太长紫外光强度不够,距离太短光线的照射范围不够。
四只摄像头模块是型号为A3B00M/CG000的彩色摄像头,采用POE供电,其类型为CMOS,分辨率为5472*3648;前端安装的镜头是型号为MT2528X的镜头,其焦距为25mm,接口为C-Mount。四只紫外条形光源是型号为JL-LR86X30UV的紫外环形光源,平面光源12是型号为JL-BRL-100*100的面阵光源。光源控制器7是型号为JL-APS-15024-6的光源驱动器。
医疗检测电路板涂胶多角度检测方法,如图4,包括以下步骤:
a)首先标定四个摄像头模块的固定参数,标定四个摄像头模块内部参数,四个摄像头模块的相互空间平移和角度,计算平移矩阵和旋转矩阵,固定参数于设备安装调试后进行标定,如果设备硬件未变化,只需要标定一次即可;摄像头模块内部参数的标定利用特征已知的标定板在摄像头模块采集的图像信息计算得到,四个摄像头模块之间的平移矩阵和旋转矩阵,利用同一标定板在四个摄像头模块视野重叠区域内采集到的图像数据计算得到;
b)主控计算机通过光源控制器将平面光源调节至预设亮度,主控计算机通过网络交换机对四个摄像头模块依次采图,并将采到的图像进行灰度值预处理;
c)计算摄像头模块外部参数,摄像头模块外部参数是摄像头模块坐标系和电路板坐标系之间的平移矩阵和旋转矩阵,利用Harris算法实时计算平面光源下采集的图片角点,与主控计算机储存的样板图片角点做匹配,得到低精度的摄像头模块外部参数,结合电路板特征点坐标信息,确定电路板特征点区域,使用特征点轮廓匹配,取得特征点在图像中的坐标,进而计算得到准确的一个摄像头模块外部参数,利用摄像头模块之间平移矩阵和旋转矩阵,得到剩余摄像头模块的外部参数;
d)二维图像中确定三维模型投影区域,调用被测物体的三维信息,元器件的坐标、元器件的长宽高、孔径的半径、孔径的深度,结合摄像头模块的内部参数和外部参数,进而计算出被测面在二维图像中的投影区域;
e)主控计算机通过光源控制器将紫外光元调节至预设亮度,主控计算机通过网络交换机控制摄像头模块依次采图,将图片分解成红绿蓝三个通道的图像数据,选取蓝色通道的图像数据组成灰度图像;
f)从紫外光图片中裁剪出被测面投影区域图片,图片经过对比度归一化处理以消除照明变化影响,通过Blob分析去除杂点,判断检测区域内的是否有溢胶或漏胶,将检测结果显示或者以.txt文件形式导出。
由固定参数标定模块101,利用标定板图像分别标定四个摄像头模块的内部参数,用同一标定板对应于四个摄像头模块的图像计算四个摄像头模块之间的旋转矩阵和平移矩阵;由平面光源控制和摄像头采图以及图像预处理模块104,将平面光调节至预设亮度,控制四个摄像头模块依次采图,并对图像进行处理;由摄像头外部参数计算模块112,利用图像角点匹配计算摄像头的参数,将电路板的特征点框定在一区域,再利用模板匹配找到电路板特征点的坐标数据,利用数据计算摄像头外部参数;由二维图像中确定三维模型投影区域模块115,调用被测物体的三维信息,结合摄像头模块的内部参数和外部参数计算被测面在二维图像中的投影区域;由紫外光源控制和摄像头采图以及图像预处理模块108,将紫外光调节至预设亮度,控制四个摄像头模块依次采图,并对图像进行处理;检测区域内的涂胶情况判定模块118,将需要检测的区域图像从紫外光图像中裁剪出,进行图像处理,判断漏胶或溢胶,将测试结果显示与导出。
固定参数标定模块101包含四个摄像头内部参数标定模块102和四个摄像头之间空间位移角度标定模块103,摄像头内部参数包括镜头焦距、像元尺寸、镜头畸变系数;所述平面光源控制和摄像头采图以及图像预处理模块104,利用232接口向光源控制器发送指令,将连接在光源控制器上的平面光源调节至预设亮度,利用网络交换机依次控制四个摄像头采集图片并对图像进行RGB转灰度图像处理;所述摄像头外部参数计算模块112,利用采集到的图片,结合预存的模板电路板参数,计算出各个摄像头的外部参数;所述紫外光源控制和摄像头采图以及图像预处理模块108,利用232接口向光源控制器发送指令,将连接在光源控制器上的四个紫外条形光源调节至预设亮度,利用网络交换机依次控制四个摄像头采集图片,将图像分解并提取蓝色通道的图像数据;所述二维图像中确定三维模型投影区域模块115,利用四个摄像头的内部参数和外部参数,结合被测物预存的3D模型尺寸,确定被测面在二维图像中的投影区域即检测区域;所述检测区域内的涂胶情况判定模块118,裁剪检测区域的紫外图像,对其可靠的对比度归一化处理,消除照明变化的影响,通过Blob分析去除杂点,二值化处理、形态学处理,判断所框定的区域是否有溢胶或漏胶的异常;
固定参数标定模块101包含四个摄像头内部参数标定模块102和四个摄像头之间空间位移角度标定模块103,将实际电路板的三维空间投影到图像的二维空间,得到准确的摄像头内部参数,包括镜头焦距、像元尺寸、镜头畸变系数,利用摄像头对标定板进行多次图片采集,将采集到的图片先后进行灰度转换、去噪、二值化处理、形态学处理和轮廓提取,获取图像中标定板的点位坐标和外轮廓信息,对比标准库中存储的标定板信息,计算出镜头焦距、像元尺寸、镜头畸变系数;四个摄像头之间空间位移和角度的计算,需将标定板放置在四个摄像头视野重叠区域,利用同一静态物体在各个摄像头中不同的成像计算出其空间位移和角度;
平面光源控制和摄像头采图以及图像预处理模块104包含平面光控制模块105、摄像头控制模块106和图像预处理模块107,平面光源控制模块105通过串口向光源控制器发送指令,打开安装在光源控制器一通道上的白色光源,并且调节至预定的亮度;
摄像头控制模块106控制摄像头第一次采集图片:装有多个摄像头,通过网络交换机与主控计算机连接,摄像头控制模块106通过网络交换机依次控制每个摄像头进行图片采集,采集到的图片是电路板在白光下的图片,采集到的是彩色图片,将图片分解为RGB三个通道,按照2:4:4的权重将三个通道的图像数据整合到一个通道,变成灰度图片,其单个数据范围为0~255,0表示最暗,255表示最亮;
摄像头外部参数计算模块112包含图像角点匹配模块113和电路板特征点定位匹配模块114,实时计算电路板所在的世界坐标系和摄像头的摄像头坐标系之间的关系,世界坐标系WCS任意的点需转换到摄像机坐标系CCS中,CCS定义原点位移投影的中心,其x轴和y轴分别平行于图像的列轴和行轴,其z轴垂直于像平面且确定其方向为:在摄像机前面的所有点的z坐标为正数,从世界坐标系到摄像机坐标系的变化为刚性变化,即平移和旋转,世界坐标系中的点Pw可由摄像头坐标系来确定;
Pc=R.Pw+T
其中,T=(tx,ty,tz)T是一个平移向量,R=R(α,β,γ)是一个旋转矩阵,γ是绕CCS的z轴旋转,β是绕y轴旋转,α是绕x轴旋转;
R和T的六个参数α,β,γ,tx,ty,tz为摄像机外部参数或摄像机的姿态;
电路板放置于被测台上,因背面元器件的影响无法放平,故每次放置的时候电路板本身的坐标系和摄像头的坐标系是变换的,即摄像机的外部参数在每次测试的时候是变换的,无法使用常规的标定板标定的方式来确定摄像头外部参数;
采用Harris图像角点检测匹配计算,使用电路板特征点定位匹配的方法实现高精度计算;
角点是图像重要特征,如果一个平面的物体在摄像头不同角度拍摄的图片中,角点的位置是固定的,人眼对角点的识别通常是在一个局部的小区域或小窗口完成,如在各个方向上移动这特征的小窗口,窗口内区域的灰度发生变化,认为在窗口内遇到了角点;如果这特定的窗口在图像各个方向上移动时,窗口内图像的灰度未发生变化,窗口内就不存在角点;如果窗口在某一个方向移动时,窗口内图像的灰度发生较大的变化,而在另一些方向上未发生变化,那么窗口内的图像可能就是一条直线的线段;
将图像窗口平移[u,v]产生的灰度变化的自相关函数如下:
其中,w(x,y)是权重矩阵,I(x+u,y+u)是平移后的图像灰度,I(x,y)是平移前的图像灰度,基于灰度的自相关函数,如其发生重大变化则表明该坐标是一个角点;通过分析摄像头实时采集的图像的角点对比预存的标准图片的角点,得到摄像头的外部参数,计算得到外部参数的T有1mm的偏差,R有0.5度的偏差,电路板上有元器件,在不同的角度下拍摄角点有偏移,使用外部参数确定电路板的大体位置,使用一个较大的区域锁定电路板上的特征点,mark点、焊盘的标志,进一步使用形状匹配的方法,确定mark点、焊盘的标志在图像中的坐标,对比实际电路板上标志的坐标,计算摄像头的外部参数;
四个摄像头之间的位置是固定的,另外三个摄像头的坐标系可通过第一个坐标系平移和旋转得到,其平移矩阵和旋转矩阵已在固定参数标定模块中计算得到,故另外三个摄像头的外部参数可通过矩阵运算得到;
紫外光源控制和摄像头采图以及图像预处理模块108包含紫外光控制模块109、摄像头控制模块110和图像预处理模块111,紫外光控制模块109开启紫外光源,紫外光控制模块109通过串口向光源控制器发送指令,关闭安装在光源控制器通道上的白色光源,打开安装在光源控制器通道上的紫外光源,摄像头控制模块110控制摄像头第二次采集图片,白色光源已关闭,紫外光源打开,电路板上覆盖的三防胶中的荧光粉在紫外光的照射下出现荧光效应呈现蓝色,摄像头控制模块(110)通过交换机依次控制每个摄像头进行图片采集,将图片按RGB分解成三个通道,提取通道的图像数据;
二维图像中确定三维模型投影区域模块115包含被测物三维信息调用116和投影区域计算模块117,得到摄像头内部参数和外部参数参后,结合元器件实际的高度,确定元器件侧边在图像中出现的准确位置;
元器件高度为△z,顶点在图像中和在基平面上移动距离△r的点重合,公式表示如下:
r表示摄像头镜头中心到被测点的水平位移,z摄像头镜头中心到被测面的表示垂直距离;
录入被测物的三维信息,被测物的三维信息包含元器件的水平和垂直坐标、元器件的长宽高、孔径的水平和垂直坐标、孔径的半径、孔径的深度,结合每个摄像头的内部参数和外部参数,有足够的信息从每个摄像头拍摄的二维图中确定三维物体的投影;
检测区域内的涂胶情况判定模块118包含区域图像处理模块119、漏胶判断模块120、溢胶判断模块121以及测试结果显示与导出模块123,通过对区域图像分析,判断涂胶质量,在紫外光线的照射下,电路板涂胶层中掺杂的荧光粉产生荧光效应,发出蓝色的光,对彩色RGB图像进行分解,留下B通道的图像数据,单个像素的数据的范围为0~255,其中0表示最暗点,255表示最亮点,图像进行可靠的对比度归一化处理,消除照明变化的影响,通过Blob分析去除杂点,判断所框定的区域是否有溢胶或漏胶的异常,其结果在界面上显示出来,记录结果,通过.txt文件形式导出。
将电路板的三维空间投影到图像的二维空间,得到准确的摄像头内部参数,包括镜头焦距、像元尺寸、镜头畸变系数;
三维空间中的点P的空间坐标为(x,y,z),从摄像头坐标系中投影到成像平面中其转换关系,如图5所示,其公式表示为:
其中,(u,v)T是P点投影到像平面上的二维坐标,f为镜头的焦距,(x,y,z)是P点的空间坐标;
如图6,空间坐标系中的点到图像坐标系的点的变化关系图;
投影到像平面后,镜头畸变导致坐标(u,v)T发生变化,其模型如下:
从像坐标系转换过来的点(u,v)T转换到图像坐标系,即变成像素点
为得到内部参数,使用摄像头拍摄标定板,通过标定板的成像,对应于标定板中关键点的大小、位置信息,计算出镜头焦距f、k表示径向畸变量级、像元sxsy摄像头内部参数;四个摄像头和镜头是相同型号,因四个摄像头的位置不同,镜头调焦和调节光圈,扩大差异性,每个摄像头单独标定,如果镜头的光圈和焦距被调整后需要重新标定;
得到摄像头内部参数和外部参数后,结合元器件实际的高度,确定元器件侧边在图像中出现的准确位置;
元器件高度为△z,顶点在图像中和在基平面上移动距离△r的点重合,其关系如图6,公式表示如下:
△z表示元器件高度,△r表示因元器件高度造成的在基平面上的平移距离,r表示摄像头镜头中心到被测点的水平位移,z表示摄像头镜头中心到被测面的表示垂直距离。
综上所述,本发明不仅检测电路板正面三防胶涂覆情况,对于电路板上较高的元器件如变压器、继电器、Mos管等元器件的侧边也能检测出是否有漏胶的情况,另外对于安装孔的内壁,有电气连接功能的孔径等部位检测出是否有溢胶的情况。不同于传统的AOI,无需要高精度的夹具将电路板固定在测试台的固定位置上,也无需将电路板彻底放平才能测试,只需要将电路板放置在摄像头的视野范围内就可以检测。能覆盖普通AOI检测机无法测试到的盲区,如元器件的侧边、孔径内部。
结构简洁,只需要四个摄像头和光源的相对位置固定,不需要高精度的夹具系统将电路板固定,大大降低了成本,避免电路板在测试过程中被磕伤擦伤的现象。检测操作简便,只需将电路板放到测试范围内,无需考虑电路板是否放平和放正等问题。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
上述仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.医疗检测电路板涂胶多角度检测系统,其特征在于:包含主控计算机(1)、网络交换机(2)、四只摄像头模块、光源控制器(7)、四只紫外条形光源以及平面光源(12);
摄像头模块通过POE接口与网络交换机(2)相连,网络交换机(2)通过网口连接至主控计算机(1),四只摄像头模块的前端装有用于光学成像的镜头;
四只摄像头模块、四只紫外条形光源和平面光源(12)安装在固定机构(13)上;
用于驱动四只紫外条形光源和平面光源(12)的光源控制器(7)分别连接四只紫外条形光源和平面光源(12),光源控制器(7)通过串口总线连接主控计算机(1),主控计算机(1)控制光源控制器(7),进而控制紫外条形光源和平面光源(12)的开关及亮度;
用于照亮涂胶层的四只紫外条形光源,发出紫外光线与涂敷在电路板和元器件表面的胶水中荧光粉产生荧光效应,使电路板和元器件有胶的部位发出蓝光;
用于照亮电路板表面的平面光源(12),发出柔和白光,照射下涂敷的防护胶呈透明状,使电路板和元器件呈现原来的颜色。
2.根据权利要求1所述的医疗检测电路板涂胶多角度检测系统,其特征在于:四只摄像头模块安装在固定机构(13)上部的四角位置,四只紫外条形光源倾斜安装在固定机构(13)底部的四角位置,平面光源(12)安装在固定机构的内部,固定机构(13)固定在横梁上。
3.根据权利要求1所述的医疗检测电路板涂胶多角度检测系统,其特征在于:紫外条形光源与被测电路板之间的距离是50mm~70mm。
4.根据权利要求1所述的医疗检测电路板涂胶多角度检测系统,其特征在于:四只摄像头模块是型号为A3B00M/CG000的彩色摄像头,采用POE供电,其类型为CMOS,分辨率为5472*3648;前端安装的镜头是型号为MT2528X的镜头,其焦距为25mm,接口为C-Mount。
5.根据权利要求1所述的医疗检测电路板涂胶多角度检测系统,其特征在于:四只紫外条形光源是型号为JL-LR86X30UV的紫外环形光源,平面光源(12)是型号为JL-BRL-100*100的面阵光源。
6.根据权利要求1所述的医疗检测电路板涂胶多角度检测系统,其特征在于:光源控制器(7)是型号为JL-APS-15024-6的光源驱动器。
7.利用权利要求1所述的系统实现医疗检测电路板涂胶多角度检测方法,其特征在于:包括以下步骤:
a)首先标定四个摄像头模块的固定参数,标定四个摄像头模块内部参数,四个摄像头模块的相互空间平移和角度,计算平移矩阵和旋转矩阵;摄像头模块内部参数的标定利用特征已知的标定板在摄像头模块采集的图像信息计算得到,四个摄像头模块之间的平移矩阵和旋转矩阵,利用同一标定板在四个摄像头模块视野重叠区域内采集到的图像数据计算得到;
b)主控计算机通过光源控制器将平面光源调节至预设亮度,主控计算机通过网络交换机对四个摄像头模块依次采图,将采到的图像进行灰度值预处理;
c)计算摄像头模块外部参数,摄像头模块外部参数是摄像头模块坐标系和电路板坐标系之间的平移矩阵和旋转矩阵,利用Harris算法实时计算平面光源下采集的图片角点,与主控计算机储存的样板图片角点做匹配,得到低精度的摄像头模块外部参数,结合电路板特征点坐标信息,确定电路板特征点区域,使用特征点轮廓匹配,取得特征点在图像中的坐标,得到准确的一个摄像头模块外部参数,利用摄像头模块之间平移矩阵和旋转矩阵,得到全部摄像头模块的外部参数;
d)二维图像中确定三维模型投影区域,调用被测物体的三维信息,元器件的坐标、元器件的长宽高、孔径的半径、孔径的深度,结合摄像头模块的内部参数和外部参数,得出被测面在二维图像中的投影区域;
e)主控计算机通过光源控制器将紫外光元调节至预设亮度,主控计算机通过网络交换机控制摄像头模块依次采图,将图片分解成红绿蓝三个通道的图像数据,选取蓝色通道的图像数据组成灰度图像;
f)从紫外光图片中裁剪出被测面投影区域图片,图片经过对比度归一化处理以消除照明变化影响,通过Blob分析去除杂点,判断检测区域内是否有溢胶或漏胶,将检测结果显示或者以.txt文件形式导出。
8.根据权利要求7所述的医疗检测电路板涂胶多角度检测方法,其特征在于:
由固定参数标定模块(101),利用标定板图像分别标定四个摄像头模块的内部参数,用同一标定板对应于四个摄像头模块的图像计算四个摄像头模块之间的旋转矩阵和平移矩阵;平面光源控制和摄像头采图以及图像预处理模块(104),将平面光调节至预设亮度,控制四个摄像头模块依次采图,并对图像进行处理;摄像头外部参数计算模块(112),利用图像角点匹配计算摄像头的参数,将电路板的特征点框定在一区域,再利用模板匹配找到电路板特征点的坐标数据,利用数据计算摄像头外部参数;二维图像中确定三维模型投影区域模块(115),调用被测物体的三维信息,结合摄像头模块的内部参数和外部参数计算被测面在二维图像中的投影区域;紫外光源控制和摄像头采图以及图像预处理模块(108),将紫外光调节至预设亮度,控制四个摄像头模块依次采图,并对图像进行处理;检测区域内的涂胶情况判定模块(118),将需要检测的区域图像从紫外光图像中裁剪出,进行图像处理,判断漏胶或溢胶,将测试结果显示与导出。
9.根据权利要求8所述的医疗检测电路板涂胶多角度检测方法,其特征在于:
所述固定参数标定模块(101)包含四个摄像头内部参数标定模块(102)和四个摄像头之间空间位移角度标定模块(103),摄像头内部参数包括镜头焦距、像元尺寸、镜头畸变系数;所述平面光源控制和摄像头采图以及图像预处理模块(104),利用232接口向光源控制器发送指令,将连接在光源控制器上的平面光源调节至预设亮度,利用网络交换机依次控制四个摄像头采集图片并对图像进行RGB转灰度图像处理;所述摄像头外部参数计算模块(112),利用采集到的图片,结合预存的模板电路板参数,计算出各个摄像头的外部参数;所述紫外光源控制和摄像头采图以及图像预处理模块(108),利用232接口向光源控制器发送指令,将连接在光源控制器上的四个紫外条形光源调节至预设亮度,利用网络交换机依次控制四个摄像头采集图片,将图像分解并提取蓝色通道的图像数据;所述二维图像中确定三维模型投影区域模块(115),利用四个摄像头的内部参数和外部参数,结合被测物预存的3D模型尺寸,确定被测面在二维图像中的投影区域即检测区域;所述检测区域内的涂胶情况判定模块(118),裁剪检测区域的紫外图像,对其可靠的对比度归一化处理,消除照明变化的影响,通过Blob分析去除杂点,二值化处理、形态学处理,判断所框定的区域是否有溢胶或漏胶的异常;
所述固定参数标定模块(101)包含四个摄像头内部参数标定模块(102)和四个摄像头之间空间位移角度标定模块(103),将实际电路板的三维空间投影到图像的二维空间,得到准确的摄像头内部参数,包括镜头焦距、像元尺寸、镜头畸变系数,利用摄像头对标定板进行多次图片采集,将采集到的图片进行灰度转换、去噪、二值化处理、形态学处理和轮廓提取,获取图像中标定板的点位坐标和外轮廓信息,对比标准库中存储的标定板信息,计算出镜头焦距、像元尺寸、镜头畸变系数;四个摄像头之间空间位移和角度的计算,需将标定板放置在四个摄像头视野重叠区域,利用同一静态物体在各个摄像头中不同的成像计算出其空间位移和角度;
所述平面光源控制和摄像头采图以及图像预处理模块(104)包含平面光控制模块(105)、摄像头控制模块(106)和图像预处理模块(107),平面光源控制模块(105)通过串口向光源控制器发送指令,打开安装在光源控制器一通道上的白色光源,调节至预定的亮度;
摄像头控制模块(106)控制摄像头第一次采集图片,装有多个摄像头,通过网络交换机与主控计算机连接,摄像头控制模块(106)通过网络交换机依次控制每个摄像头进行图片采集,采集到的图片是电路板在白光下的图片,采集到的是彩色图片,将图片分解为RGB三个通道,按照2:4:4的权重将三个通道的图像数据整合到一个通道,变成灰度图片,其单个数据范围为0~255,0表示最暗,255表示最亮;
摄像头外部参数计算模块(112)包含图像角点匹配模块(113)和电路板特征点定位匹配模块(114),实时计算电路板所在的世界坐标系和摄像头的摄像头坐标系之间的关系,世界坐标系WCS任意的点需转换到摄像机坐标系CCS中,CCS定义原点位移投影的中心,其x轴和y轴分别平行于图像的列轴和行轴,其z轴垂直于像平面且确定其方向为:在摄像机前面的所有点的z坐标为正数,从世界坐标系到摄像机坐标系的变化为刚性变化,即平移和旋转,世界坐标系中的点Pw可由摄像头坐标系来确定;
Pc=R.Pw+T
其中,T=(tx,ty,tz)T是一个平移向量,R=R(α,β,γ)是一个旋转矩阵,γ是绕CCS的z轴旋转,β是绕y轴旋转,α是绕x轴旋转;
R和T的六个参数α,β,γ,tx,ty,tz为摄像机外部参数或摄像机的姿态;
电路板放置于被测台上,因背面元器件的影响无法放平,故每次放置时电路板本身的坐标系和摄像头的坐标系是变换的,即摄像机的外部参数在每次测试的时候是变换的;
采用Harris图像角点检测匹配计算,使用电路板特征点定位匹配的方法实现高精度计算;
角点是图像重要特征,如果一个平面的物体在摄像头不同角度拍摄的图片中,角点的位置是固定的,人眼对角点的识别通常是在一个局部的小区域或小窗口完成,如在各个方向上移动这特征的小窗口,窗口内区域的灰度发生变化,认为在窗口内遇到了角点;如果这特定的窗口在图像各个方向上移动时,窗口内图像的灰度未发生变化,窗口内就不存在角点;如果窗口在某一个方向移动时,窗口内图像的灰度发生较大的变化,而在另一些方向上未发生变化,那么窗口内的图像可能是一条直线的线段;
将图像窗口平移[u,v]产生的灰度变化的自相关函数如下:
其中,w(x,y)是权重矩阵,I(x+u,y+u)是平移后的图像灰度,I(x,y)是平移前的图像灰度,基于灰度的自相关函数,如其发生重大变化则表明该坐标是一个角点;通过分析摄像头实时采集的图像的角点对比预存的标准图片的角点,得到摄像头的外部参数,计算得到外部参数的T有1mm的偏差,R有0.5度的偏差,电路板上有元器件,在不同的角度下拍摄角点有偏移,使用外部参数确定电路板的大体位置,使用一个较大的区域锁定电路板上的特征点,mark点、焊盘的标志,进一步使用形状匹配的方法,确定mark点、焊盘的标志在图像中的坐标,对比实际电路板上标志的坐标,计算摄像头的外部参数;
四个摄像头之间的位置是固定的,另外三个摄像头的坐标系可通过第一个坐标系平移和旋转得到,其平移矩阵和旋转矩阵已在固定参数标定模块中计算得到,故另外三个摄像头的外部参数可通过矩阵运算得到;
所述紫外光源控制和摄像头采图以及图像预处理模块(108)包含紫外光控制模块(109)、摄像头控制模块(110)和图像预处理模块(111),紫外光控制模块(109)开启紫外光源,紫外光控制模块(109)通过串口向光源控制器发送指令,关闭安装在光源控制器通道上的白色光源,打开安装在光源控制器通道上的紫外光源,摄像头控制模块(110)控制摄像头第二次采集图片,白色光源已关闭,紫外光源打开,电路板上覆盖的三防胶中的荧光粉在紫外光的照射下出现荧光效应呈现蓝色,摄像头控制模块(110)通过交换机依次控制每个摄像头进行图片采集,将图片按RGB分解成三个通道,提取通道的图像数据;
所述二维图像中确定三维模型投影区域模块(115)包含被测物三维信息调用(116)和投影区域计算模块(117),得到摄像头内部参数和外部参数参后,结合元器件实际的高度,确定元器件侧边在图像中出现的准确位置;
元器件高度为△z,顶点在图像中和在基平面上移动距离△r的点重合,公式表示如下:
r表示摄像头镜头中心到被测点的水平位移,z摄像头镜头中心到被测面的表示垂直距离;
录入被测物的三维信息,被测物的三维信息包含元器件的水平和垂直坐标、元器件的长宽高、孔径的水平和垂直坐标、孔径的半径、孔径的深度,结合每个摄像头的内部参数和外部参数,有足够的信息从每个摄像头拍摄的二维图中确定三维物体的投影;
所述检测区域内的涂胶情况判定模块(118)包含区域图像处理模块(119)、漏胶判断模块(120)、溢胶判断模块(121)以及测试结果显示与导出模块(123),通过对区域图像分析,判断涂胶质量,在紫外光线的照射下,电路板涂胶层中掺杂的荧光粉产生荧光效应,发出蓝色的光,对彩色RGB图像进行分解,留下B通道的图像数据,单个像素的数据的范围为0~255,其中0表示最暗点,255表示最亮点,图像进行可靠的对比度归一化处理,消除照明变化的影响,通过Blob分析去除杂点,判断所框定的区域是否有溢胶或漏胶的异常,其结果在界面上显示出来,记录结果,通过.txt文件形式导出。
10.根据权利要求7或8所述的医疗检测电路板涂胶多角度检测方法,其特征在于:
将电路板的三维空间投影到图像的二维空间,得到准确的摄像头内部参数,包括镜头焦距、像元尺寸、镜头畸变系数;
三维空间中的点P的空间坐标为(x,y,z),从摄像头坐标系中投影到成像平面中其转换关系,其公式表示为:
其中,(u,v)T是P点投影到像平面上的二维坐标,f为镜头的焦距,(x,y,z)是P点的空间坐标;
空间坐标系中的点到图像坐标系的点的变化关系图;
投影到像平面后,镜头畸变导致坐标(u,v)T发生变化,其模型如下:
从像坐标系转换过来的点(u,v)T转换到图像坐标系,即变成像素点
为得到内部参数,使用摄像头拍摄标定板,通过标定板的成像,对应于标定板中关键点的大小、位置信息,计算出镜头焦距f、k表示径向畸变量级、像元sxsy摄像头内部参数;四个摄像头和镜头是相同型号,因四个摄像头的位置不同,镜头调焦和调节光圈,扩大差异性,每个摄像头单独标定,如果镜头的光圈和焦距被调整后需要重新标定;
得到摄像头内部参数和外部参数后,结合元器件实际的高度,确定元器件侧边在图像中出现的准确位置;
元器件高度为△z,顶点在图像中和在基平面上移动距离△r的点重合,公式表示如下:
△z表示元器件高度,△r表示因元器件高度造成的在基平面上的平移距离,r表示摄像头镜头中心到被测点的水平位移,z表示摄像头镜头中心到被测面的表示垂直距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310088805.5A CN115980012A (zh) | 2023-02-09 | 2023-02-09 | 医疗检测电路板涂胶多角度检测系统及其检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310088805.5A CN115980012A (zh) | 2023-02-09 | 2023-02-09 | 医疗检测电路板涂胶多角度检测系统及其检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115980012A true CN115980012A (zh) | 2023-04-18 |
Family
ID=85963101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310088805.5A Pending CN115980012A (zh) | 2023-02-09 | 2023-02-09 | 医疗检测电路板涂胶多角度检测系统及其检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115980012A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630325A (zh) * | 2023-07-25 | 2023-08-22 | 苏州赫芯科技有限公司 | 基于电路板的uv胶检测方法、设备和存储介质 |
CN116818063A (zh) * | 2023-08-30 | 2023-09-29 | 江铃汽车股份有限公司 | 汽车芯片散热胶涂覆质量检测方法、装置及可读存储介质 |
-
2023
- 2023-02-09 CN CN202310088805.5A patent/CN115980012A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630325A (zh) * | 2023-07-25 | 2023-08-22 | 苏州赫芯科技有限公司 | 基于电路板的uv胶检测方法、设备和存储介质 |
CN116630325B (zh) * | 2023-07-25 | 2023-10-13 | 苏州赫芯科技有限公司 | 基于电路板的uv胶检测方法、设备和存储介质 |
CN116818063A (zh) * | 2023-08-30 | 2023-09-29 | 江铃汽车股份有限公司 | 汽车芯片散热胶涂覆质量检测方法、装置及可读存储介质 |
CN116818063B (zh) * | 2023-08-30 | 2023-11-14 | 江铃汽车股份有限公司 | 汽车芯片散热胶涂覆质量检测方法、装置及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115980012A (zh) | 医疗检测电路板涂胶多角度检测系统及其检测方法 | |
US7456842B2 (en) | Color edge based system and method for determination of 3D surface topology | |
US5909285A (en) | Three dimensional inspection system | |
CN103954213B (zh) | 一种分析零件的实测图的方法 | |
JP2015135331A (ja) | 実用型3dビジョンシステム装置およびその方法 | |
EP1017962B1 (en) | Three dimensional inspection of electronic leads with optical element attached to the top surface of a transparent reticle | |
CN110966956A (zh) | 一种基于双目视觉的三维检测装置和方法 | |
US11562478B2 (en) | Method and system for testing field of view | |
CN103328959A (zh) | 基板检查装置、基板检查系统以及基板检查结果的确认用画面的显示方法 | |
CN112505663B (zh) | 用于多线激光雷达与相机联合标定的标定方法 | |
KR20010040998A (ko) | 입체 영상에 의한 자동 검사 시스템 및 그 검사 방법 | |
CN115388778A (zh) | 一种计算机屏幕质检控制装置 | |
CN108093618A (zh) | 通过比较3d高度轮廓与参照高度轮廓来检验贴装内容 | |
CN108445010A (zh) | 自动光学检测方法及装置 | |
CN113763322A (zh) | 一种Pin脚共面度视觉检测方法与装置 | |
KR20060104722A (ko) | 평판표시장치의 화질 검사 시스템 및 그 방법 | |
CN219657490U (zh) | 医疗检测电路板涂胶多角度检测系统 | |
JP2003167530A (ja) | ディスプレイ画面検査方法およびディスプレイ画面検査装置 | |
CN116993658A (zh) | 一种用于精准检测oca贴合精度的方法 | |
CN110148141A (zh) | 一种丝印滤光片小片检测计数方法及设备 | |
KR100526035B1 (ko) | 메탈 마스크 검사 장치 및 그의 검사 방법 | |
WO2001022070A1 (en) | Method and system of lcd inspection by pattern comparison | |
CN106996911B (zh) | 二维检测锡膏印刷的定位方法 | |
TW201538947A (zh) | 檢測二工件之差異性的檢測方法及檢測系統 | |
CN111818315B (zh) | 一种投影图像检测装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |