CN114923408B - 一种基于机器视觉的超微量胶滴形状参数检测装置及方法 - Google Patents

一种基于机器视觉的超微量胶滴形状参数检测装置及方法 Download PDF

Info

Publication number
CN114923408B
CN114923408B CN202210463762.XA CN202210463762A CN114923408B CN 114923408 B CN114923408 B CN 114923408B CN 202210463762 A CN202210463762 A CN 202210463762A CN 114923408 B CN114923408 B CN 114923408B
Authority
CN
China
Prior art keywords
ultra
micro
drop
curve
drops
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210463762.XA
Other languages
English (en)
Other versions
CN114923408A (zh
Inventor
刘慧芳
蒋申彗
李福选
陈莹
高翼飞
李岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Priority to CN202210463762.XA priority Critical patent/CN114923408B/zh
Publication of CN114923408A publication Critical patent/CN114923408A/zh
Application granted granted Critical
Publication of CN114923408B publication Critical patent/CN114923408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于机器视觉的超微量胶滴形状参数检测装置，该装置包括万向架、超微量点胶机和Y轴驱动平台，所述万向架上安装有CCD工业相机，所述CCD工业相机通过图像采集卡电信号连接工控机；所述超微量点胶机上安装有用于移动胶滴的移液针；所述超微量点胶机上还安装有环形光源；所述Y轴驱动平台上安装有X轴驱动平台，所述X轴驱动平台上安装有用于盛放胶滴的承载平台；所述工控机电信号连接超微量点胶机和环形光源。本发明是以机器视觉技术为核心，能够实现对微纳尺度、PL(10‑12L)‑FL(10‑15L)级超微量胶滴形状参数的在线测量以及胶滴形成过程的动态测量。与其他形状参数检测装置相比，实时性好，精度高，效率高。

Description

一种基于机器视觉的超微量胶滴形状参数检测装置及方法
技术领域
本发明涉及微纳器件技术领域，具体为一种基于机器视觉的超微量胶滴形状参数在线检测方法。
背景技术
微纳制造技术是指尺度为毫米、微米和纳米量级的芯片等零件加工制造、组装、集成的技术。其中，微纳封装和连接是集成电路等微纳产品制造的关键技术和重要环节，封装与连接要为微纳器件提供机械支撑、环境保护以及与其它系统器件的电气连接。微量点胶是微纳器件制造及集成装配过程的重要使能核心关键技术之一，胶滴尺寸、体积、精度及质量直接影响整个器件的完整性、几何形状、表面质量以及机械、电气和热学性能。与微纳制造尺寸和精度相匹配的精确可靠的高效超微量自动点胶技术是提升微纳米级微器件制造与集成水平以及微(机电)系统突破实际应用瓶颈亟需解决的问题。其中，利用微纳点胶技术完成器件封装及连接过程中，点胶过程的实时反馈及点胶量的精确检测与控制反馈尤为重要。点胶量对封装效果起到决定性作用，连接处的粘合剂过多会导致爬行、污染等问题，而粘合剂不足则会直接导致连接强度下降。显然，点胶量的精准检测与控制至关重要。
目前对胶滴形状参数检测方法主要有称重法，二维投影法以及传感器测量法，三者都存在耗时长，实时性差等问题。称重法不能直观得到超微量胶滴的形状参数，且不能实现精准实时的在线检测，不利于点胶过程的自动控制。二维投影法对于投影角度有极高的要求，而对于尺寸极小的超微量胶滴的形状参数测量更是要求严苛。而利用传感器对胶滴检测，比如压力传感器、激光传感器，这种类型的传感器对pL(10-12L)-fL(10-15L)级的微量胶滴几乎不能测量，而且造价昂贵，平台搭建繁琐。
发明内容
本发明的目的在于提供了一种，通过对超微量胶滴的图像采集以及一系列处理，以拟合超微量胶滴弧顶曲线的方式得到超微量胶滴的实时尺寸，能够高效准确得到体积为pL(10-12L)-fL(10-15L)级、微纳米尺度的超微量胶滴的实时形状参数。
为实现上述目的，本发明提供如下技术方案：一种基于机器视觉的超微量胶滴形状参数检测装置，该装置包括万向架、超微量点胶机和Y轴驱动平台，所述万向架上安装有CCD工业相机，所述CCD工业相机通过图像采集卡电信号连接工控机；
所述超微量点胶机上安装有用于移动胶滴的移液针；所述超微量点胶机上还安装有环形光源；
所述Y轴驱动平台上安装有X轴驱动平台，所述X轴驱动平台上安装有用于盛放胶滴的承载平台；
所述工控机电信号连接超微量点胶机和环形光源。
一种基于机器视觉的超微量胶滴形状参数检测装置的检测方法，包括以下步骤
(一)、通过CCD工业相机对胶滴进行图像采集；
(二)、首先，对采集的图像进行阈值分割，二值化处理，利用非线性平滑滤波中的中值滤波方法，保留所需图像结构并消除脉冲噪声；然后，对图像采取闭运算处理；
(三)、对步骤(二)处理后的图像进行梯度处理，边缘提取，得到超微量胶滴的轮廓曲线；
(四)、通过最小二乘法对轮廓曲线进行拟合并得到曲线函数，对步骤(三)处理后的图像进行轮廓拟合，提取的超微量胶滴轮廓近似为部分圆图像；
(五)、在轮廓和曲线拟合后，即可得到轮廓像素点个数以及超微量胶滴弧顶曲线函数；再结合相机标定结果，即单个像素对应的实际距离，进一步得到超微量胶滴的实时形状参数，包括高度、直径、覆盖区域周长、覆盖区域面积、超微量胶滴接触角、体积的参数。
一种动态在线检测方法，利用CCD工业相机(9)对超微量胶滴的动态过程进行图像采集，在整个胶滴转移过程中，都用图像轮廓拟合的方法对采集的图像进行处理，再采用步骤(四)中的曲线函数拟合的方法，得到超微量胶滴铺展过程中的不同时刻的形状参数；在整个超微量胶滴形状参数的检测过程中，每两个超微量胶滴完成转移的时间间隔为T，T为超微量胶滴形状参数获取时长T获与将超微量形状参数反馈到工控机时长T反及根据反馈参数对点胶机构再次调整时长T控的总和，即：
T＝T获+T反+T控
对视觉检测系统设置取流间隔T，即可完成对每个超微量胶滴的成型过程中及成型后的拍摄采集；同样利用步骤(四)，步骤(五)的方法得到超微量胶滴的形状参数。
与现有技术相比，本发明的有益效果是：
本发明是以机器视觉技术为核心，能够实现对微纳尺度、PL(10-12L)-FL(10-15L)级超微量胶滴形状参数的在线测量以及胶滴形成过程的动态测量。与其他形状参数检测装置相比，实时性好，精度高，效率高。利用工业相机对超微量胶滴图像进行处理，去除超微量胶滴图像受到的外界因素的影响，比如光源及脉冲等影响，采用轮廓及超微量胶滴弧顶曲线拟合得到超微量胶滴弧顶曲线函数。相对将超微量胶滴近似成球冠来计算超微量胶滴形状参数的方法，本发明采用的拟合曲线法更加精准，能够满足对几微米至几十微米的超微量胶滴形状参数的测量。获取超微量胶滴实时形状参数的同时可以剔除不合格超微量胶滴，以及实现胶液的再分配，极大提高效率地同时也能减少耗材。
附图说明
图1为本发明超微量胶滴形状参数检测系统图。
图2为本发明视觉检测系统示意图。
图3为本发明基于机器视觉的超微量胶滴形状参数在线检测方法流程图。
图4a为本发明原始图像。
图4b为本发明中值滤波处理后图像。
图4c为本发明闭运算处理后图像。
图5a为本发明轮廓检测结果示意图。
图5b为本发明轮廓拟合结果示意图。
图6a为本发明超微量胶滴初始时刻图像。
图6b为本发明超微量胶滴中间时刻图像。
图6c为本发明超微量胶滴稳定时刻图像。
图7a为本发明高度4μm的超微量胶滴弧顶曲线函数拟合结果示意图。
图7b为本发明高度5μm的超微量胶滴弧顶曲线函数拟合结果示意图。
图7c为本发明高度6μm的超微量胶滴弧顶曲线函数拟合结果示意图。
图8a为本发明三维重建超微量胶滴侧视图。
图8b为本发明三维重建超微量胶滴立体图。
图9a为本发明超微量胶滴理想稳定状态示意图
图9b为本发明接触角求解原理图。
图10a为本发明接触式点胶工作流程图。
图10b为本发明接触式点胶工作流程图。
图10c为本发明接触式点胶工作流程图。
图10d为本发明接触式点胶工作流程图。
1、超微量点胶机；2、移液针；3、胶滴；4、承载平台；5、X轴驱动平台；6、Y轴驱动平台；7、环形光源；8、毛细管；9、CCD工业相机；10、万向架；11、图像采集卡；12、工控机。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-10，本发明提供一种技术方案：一种基于机器视觉的超微量胶滴形状参数检测装置，该装置包括万向架10、超微量点胶机1和Y轴驱动平台6，所述万向架10上安装有CCD工业相机9，所述CCD工业相机9通过图像采集卡11电信号连接工控机12，使用图像拟合算法完成对超微量胶滴的形状参数及体积的计算。
所述超微量点胶机1上安装有用于移动胶滴3的移液针2；所述超微量点胶机1上还安装有环形光源7；
所述Y轴驱动平台6上安装有X轴驱动平台5，所述X轴驱动平台5上安装有用于盛放胶滴3的承载平台4；X轴驱动平台5和Y轴驱动平台6用于调整承载平台4的位置。
所述工控机12电信号连接超微量点胶机1和环形光源7。
CCD工业相机9及图像采集卡11与环形光源7构成视觉检测系统，将采集超微量胶滴图像通过图像采集卡11转化位数字信号传输到工控机12。CCD工业相机9是整个视觉检测系统的核心设备，用于采集超微量胶滴图像、实时采集不同时刻的动态点胶过程图像，其视场和景深需满足对几微米到几十微米微纳尺度胶滴的测量要求。CCD工业相机9需不低于60fps的帧速率，以及超低畸变，能够满足点胶过程中的任意时刻的取流拍照。CCD工业相机9的拍摄方向与点胶方向垂直，以拍摄具备更多形状参数的超微量胶滴侧视图像，CCD工业相机9的位置通过万向架10调节。
基于微量胶滴表面张力点胶的实现过程及原理如图10中的所示，点胶过程分为三个阶段：穿管取胶阶段、靠近转移阶段、分离恢复阶段。阶段一通过移液针在一定速度v下穿过储有胶液的毛细管8后(如图10a所示)；移液针会依靠附着力在末端依附微量胶液(如图10b所示)；阶段二当移液针2和点胶面接触后，胶液会在点胶面界面张力下涂覆在点胶面上(如图10c所示)；阶段三随着移液针2的离开，部分胶液会遗留在点胶面上，依靠表面张力形成微小得胶滴3(如图10d所示)，剩余的胶液由移液针2再带回到毛细管8中。由于毛细管8的毛细现象，保证了点胶过程中不会出现漏胶现象。通过改变移液针2的末端直径，可以调整出胶时胶液的依附量，从而改变所形成胶斑的尺寸。通过控制移液针末端与点胶面之间的接触距离，可改变胶滴与点胶面间的接触面积，也可对胶斑尺寸进行微调整。
本发明还提出一种基于机器视觉的超微量胶滴形状参数检测装置的检测方法，包括以下步骤
(一)、通过CCD工业相机9对胶滴3进行图像；
(二)、首先，对采集的图像进行阈值分割，二值化处理，利用非线性平滑滤波中的中值滤波方法，保留所需图像结构并消除脉冲噪声；然后，对图像采取闭运算处理；
(三)、对步骤(二)处理后的图像进行梯度处理，边缘提取，得到超微量胶滴的轮廓曲线；
(四)、通过最小二乘法对轮廓曲线进行拟合并得到曲线函数，对步骤(三)处理后的图像进行轮廓拟合，提取的超微量胶滴轮廓近似为部分圆图像；
(五)、在轮廓和曲线拟合后，即可得到轮廓像素点个数以及超微量胶滴弧顶曲线函数；再结合相机标定结果，即单个像素对应的实际距离，进一步得到超微量胶滴的实时形状参数，包括高度、直径、覆盖区域周长、覆盖区域面积、超微量胶滴接触角、体积的参数。
步骤(一)中需调整CCD工业相机9的摆放方向，使得拍摄方向与点胶方向垂直；在CCD工业相机9放置完毕后，对CCD工业相机9进行标定；利用标定物及张氏标定法进行标定，工控机12根据标定的数值计算出单个像素对应的实际距离；标定后，利用CCD工业相机9对超微量胶滴的侧视图像进行实时拍摄采集，输出图像通过图像采集卡11转化为数字图像，将数字图像传输到工控机12。
步骤(二)中的超微量胶滴的尺寸极小，容易受到光照不均及载玻片反光的影响，故采用闭运算多次迭代的方式，得到最贴近超微量胶滴真实形状的图像。
在微纳制造中，超微量胶滴尺寸微小，透明度高，存在光散射的情况，同样会产生形状误差，为克服该问题，此时在步骤(三)中采用sobel算子对超微量胶滴图像进行梯度处理，得到超微量胶滴的边缘曲线轮廓。
其特征在于：步骤(四)采用轮廓最小矩形拟合方法，得到超微量胶滴的高度及直径；其中，最小矩形的宽，即为超微量胶滴的高度H，最小矩形的长，即为超微量胶滴的覆盖区域直径L；提取超微量胶滴轮廓曲线上所有像素点坐标，选取四次多项式，通过最小二乘法对提取的离散坐标点进行插值、逼近，进而得到更加贴合实际超微量胶滴轮廓的曲线函数；
采用最小二乘法多项式曲线拟合，根据给定的像素点坐标,要求曲线f(x)的近似曲线精确地经过这些点；
超微量胶滴的像素点坐标pi(xi,yi)，其中i＝1,2,…,n；求近似曲线f(x)；并且使得近似曲线与的偏差最小；近似曲线在点pi处的偏差δi＝f(xi)-y，i＝1,2,...,n；
使偏差绝对值之和最小
按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法，称为最小二乘法；设拟合多项式为：
y＝a0+a1x+···+akxk
其中：a0、a1、……ak是任意实数，k为多项式阶数。
为了求得符合条件的a值，对等式右边求ai偏导数，将所求偏导数等于0得到了：
······
将等式左边进行化简，可以得到下面的等式：
······
把这些等式表示成矩阵的形式，就可以得到下面的矩阵：
化简后可得到：
则有XA＝Y，那么A＝(X'X)-1X'Y，便得到了系数矩阵A，即可得a0、a1、……ak，同时，也就得到了拟合曲线函数f(x)。
步骤(五)中实时形状参数确定方法如下
超微量胶滴直径及高度：步骤(四)中的最小矩形，可以得到超微量胶滴直径L及高度H；
超微量胶滴的侧视区域周长与面积：周长和面积反映超微量胶滴的形状及尺寸缺陷，根据梯度处理后的图像可以得到超微量胶滴的轮廓形状曲线；侧视区域轮廓边缘的所有像素点之和，即为超微量胶滴的侧视区域周长；侧视区域内的所有像素点之和，即为超微量胶滴的侧视图像区域面积；
超微量胶滴覆盖区域周长及面积：根据上述得到的超微量胶滴的直径，再利用圆周长及面积公式，得到超微量胶滴覆盖区域周长及面积；
超微量胶滴的接触角：气液界面和固液界面之间的夹角即为接触角，根据步骤(四)中拟合的超微量胶滴轮廓寻找轮廓边缘，并找出曲率突变的点即为突变点；精密驱动承载平台及工件载物台表面充分水平，在寻找突变点时认为水平面的斜率在一个设置的范围内，在此范围内的点的斜率都置为0，剩下的斜率变化最大的点即为所找的两个突变点；(如图9所示)三相交界既是突变点也是拟合曲线的起点，因此对步骤(四)中拟合得到的曲线函数在(0，0)点求导数，所求得的导数即为曲线在三相交界的切线斜率t；再进一步根据反正切函数arctant，即可确定超微量胶滴的接触角θ大小；
超微量胶滴的体积：根据上述步骤所得到的超微量胶滴的高度与弧顶曲线函数，进一步去求得超微量胶滴的体积；利用超微量胶滴弧顶曲线函数，以y轴为旋转轴，以超微量胶滴的半径作为积分上限，通过以下积分公式求得超微量胶滴体积；
不同时间超微量胶滴的形状发生改变并不影响超微量胶滴的体积，函数曲线发生变化，弧顶曲线函数也发生变化。通过采集不同状态下的超微量胶滴，如图6，采用重复步骤(四)所求得体积几乎相差无几，因此通过此方法验证了应用于超微量胶滴形状参数的拟合曲线法的可靠程度。
采用不同实验条件得到不同形状参数的超微量胶滴，将改变不同试验条件得到的尺寸，大小，铺展面积不同的超微量胶滴。经过图像采集并进行上述图像处理，通过轮廓，曲线拟合，分别得到各超微量胶滴的不同的形状参数信息。通过三维重建胶滴可以得到超微量胶滴的真实形状参数，利用三维重建法与曲线拟合方法进行对比，验证了后者求解超微量胶滴形状参数的精确程度。超微量胶滴三维图像重建图像见附图8。
本发明还提出一种动态在线检测方法；在微纳封装过程中，超微量胶滴在移液针转移结束之后超微量胶滴在短时间内会发生形变，其高度会渐渐变高，铺展面积会逐渐变小，为保证微纳封装过程中的时效性及最佳效果，在超微量胶滴的形状参数发生变化过程进行在线测量；利用CCD工业相机9对超微量胶滴的动态过程进行图像采集，在整个胶滴转移过程中，都用图像轮廓拟合的方法对采集的图像进行处理，再采用步骤(四)中的曲线函数拟合的方法，得到超微量胶滴铺展过程中的不同时刻的形状参数；在整个超微量胶滴形状参数的检测过程中，每两个超微量胶滴完成转移的时间间隔为T，T为超微量胶滴形状参数获取时长T获与将超微量形状参数反馈到工控机时长T反及根据反馈参数对点胶机构再次调整时长T控的总和，即：
T＝T获+T反+T控
对视觉检测系统设置取流间隔T，即可完成对每个超微量胶滴的成型过程中及成型后的拍摄采集；同样利用步骤(四)，步骤(五)的方法得到超微量胶滴的形状参数。
结论：本发明在微纳制造产业中，能够通过整个视觉检测流程以更高的效率得到超微量胶滴的实时尺寸，满足对尺寸极小的超微量胶滴图像进行采集处理，能够清晰地得到PL(10-12L)-FL(10-15L)级的微量胶滴的形状参数满足微纳制造产业中的封装工艺。

Claims (7)

1.一种基于机器视觉的超微量胶滴形状参数检测装置，其特征在于：该装置包括万向架(10)、超微量点胶机(1)和Y轴驱动平台(6)，所述万向架(10)上安装有CCD工业相机(9)，所述CCD工业相机(9)通过图像采集卡(11)电信号连接工控机(12)；
所述超微量点胶机(1)上安装有用于移动胶滴(3)的移液针(2)；所述超微量点胶机(1)上还安装有环形光源(7)；
所述Y轴驱动平台(6)上安装有X轴驱动平台(5)，所述X轴驱动平台(5)上安装有用于盛放胶滴(3)的承载平台(4)；
所述工控机(12)电信号连接超微量点胶机(1)和环形光源(7)；
所述超微量胶滴形状参数检测装置的检测方法，包括以下步骤：
(一)、通过CCD工业相机(9)对胶滴(3)进行图像采集；
(二)、首先，对采集的图像进行阈值分割，二值化处理，利用非线性平滑滤波中的中值滤波方法，保留所需图像结构并消除脉冲噪声；然后，对图像采取闭运算处理；
(三)、对步骤(二)处理后的图像进行梯度处理，边缘提取，得到超微量胶滴的轮廓曲线；
(四)、通过最小二乘法对轮廓曲线进行拟合并得到曲线函数，对步骤(三)处理后的图像进行轮廓拟合，提取的超微量胶滴轮廓近似为部分圆图像；
(五)、在轮廓和曲线拟合后，即得到轮廓像素点个数以及超微量胶滴弧顶曲线函数；再结合相机标定结果，即单个像素对应的实际距离，进一步得到超微量胶滴的实时形状参数，包括高度、直径、覆盖区域周长、覆盖区域面积、超微量胶滴接触角、体积的参数；
步骤(四)采用轮廓最小矩形拟合方法，得到超微量胶滴的高度及直径；其中，最小矩形的宽，即为超微量胶滴的高度H，最小矩形的长，即为超微量胶滴的覆盖区域直径L；提取超微量胶滴轮廓曲线上所有像素点坐标，选取四次多项式，通过最小二乘法对提取的离散坐标点进行插值、逼近，进而得到更加贴合实际超微量胶滴轮廓的曲线函数；
采用最小二乘法多项式曲线拟合，根据给定的像素点坐标,要求曲线f(x)的近似曲线精确地经过这些点；
超微量胶滴的像素点坐标pi(xi,yi)，其中i＝1,2,…,n；求近似曲线f(x)；并且使得近似曲线与的偏差最小；近似曲线在点pi处的偏差δi＝f(xi)-y，i＝1,2,...,n；
使偏差绝对值之和最小
按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法，称为最小二乘法；设拟合多项式为：
y＝a0+a1x+···+akxk
其中：a0、a1、……ak是任意实数，k为多项式阶数；
为了求得符合条件的a值，对等式右边求ai偏导数，将所求偏导数等于0得到了：
······
将等式左边进行化简，得到下面的等式：
······
把这些等式表示成矩阵的形式，就得到了下面的矩阵：
化简后得到：
则有XA＝Y，那么A＝(X'X)-1X'Y，便得到了系数矩阵A，即得a0、a1、……ak，同时，也就得到了拟合曲线函数f(x)。
2.一种如权利要求1所述的基于机器视觉的超微量胶滴形状参数检测装置的检测方法，其特征在于：包括以下步骤
(一)、通过CCD工业相机(9)对胶滴(3)进行图像采集；
(二)、首先，对采集的图像进行阈值分割，二值化处理，利用非线性平滑滤波中的中值滤波方法，保留所需图像结构并消除脉冲噪声；然后，对图像采取闭运算处理；
(三)、对步骤(二)处理后的图像进行梯度处理，边缘提取，得到超微量胶滴的轮廓曲线；
(四)、通过最小二乘法对轮廓曲线进行拟合并得到曲线函数，对步骤(三)处理后的图像进行轮廓拟合，提取的超微量胶滴轮廓近似为部分圆图像；
(五)、在轮廓和曲线拟合后，即得到轮廓像素点个数以及超微量胶滴弧顶曲线函数；再结合相机标定结果，即单个像素对应的实际距离，进一步得到超微量胶滴的实时形状参数，包括高度、直径、覆盖区域周长、覆盖区域面积、超微量胶滴接触角、体积的参数；
步骤(四)采用轮廓最小矩形拟合方法，得到超微量胶滴的高度及直径；其中，最小矩形的宽，即为超微量胶滴的高度H，最小矩形的长，即为超微量胶滴的覆盖区域直径L；提取超微量胶滴轮廓曲线上所有像素点坐标，选取四次多项式，通过最小二乘法对提取的离散坐标点进行插值、逼近，进而得到更加贴合实际超微量胶滴轮廓的曲线函数；
采用最小二乘法多项式曲线拟合，根据给定的像素点坐标,要求曲线f(x)的近似曲线精确地经过这些点；
超微量胶滴的像素点坐标pi(xi,yi)，其中i＝1,2,…,n；求近似曲线f(x)；并且使得近似曲线与的偏差最小；近似曲线在点pi处的偏差δi＝f(xi)-y，i＝1,2,...,n；
使偏差绝对值之和最小
按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法，称为最小二乘法；设拟合多项式为：
y＝a0+a1x+···+akxk
其中：a0、a1、……ak是任意实数，k为多项式阶数；
为了求得符合条件的a值，对等式右边求ai偏导数，将所求偏导数等于0得到了：
······
将等式左边进行化简，得到下面的等式：
······
把这些等式表示成矩阵的形式，就得到了下面的矩阵：
化简后得到：
则有XA＝Y，那么A＝(X'X)-1X'Y，便得到了系数矩阵A，即得a0、a1、……ak，同时，也就得到了拟合曲线函数f(x)。
3.根据权利要求2所述的基于机器视觉的超微量胶滴形状参数检测装置的检测方法，其特征在于：步骤(一)中需调整CCD工业相机(9)的摆放方向，使得拍摄方向与点胶方向垂直；在CCD工业相机(9)放置完毕后，对CCD工业相机(9)进行标定；利用标定物及张氏标定法进行标定，工控机(12)根据标定的数值计算出单个像素对应的实际距离；标定后，利用CCD工业相机(9)对超微量胶滴的侧视图像进行实时拍摄采集，输出图像通过图像采集卡(11)转化为数字图像，将数字图像传输到工控机(12)。
4.根据权利要求2所述的基于机器视觉的超微量胶滴形状参数检测装置的检测方法，其特征在于：步骤(二)中的超微量胶滴的尺寸极小，容易受到光照不均及载玻片反光的影响，故采用闭运算多次迭代的方式，得到最贴近超微量胶滴真实形状的图像。
5.根据权利要求2所述的基于机器视觉的超微量胶滴形状参数检测装置的检测方法，其特征在于：步骤(三)中采用sobel算子对超微量胶滴图像进行梯度处理，得到超微量胶滴的边缘曲线轮廓。
6.根据权利要求2所述的基于机器视觉的超微量胶滴形状参数检测装置的检测方法，其特征在于：步骤(五)中实时形状参数确定方法如下
超微量胶滴直径及高度：步骤(四)中的最小矩形，得到超微量胶滴直径L及高度H；
超微量胶滴的侧视区域周长与面积：周长和面积反映超微量胶滴的形状及尺寸缺陷，根据梯度处理后的图像得到超微量胶滴的轮廓形状曲线；侧视区域轮廓边缘的所有像素点之和，即为超微量胶滴的侧视区域周长；侧视区域内的所有像素点之和，即为超微量胶滴的侧视图像区域面积；
超微量胶滴覆盖区域周长及面积：根据上述得到的超微量胶滴的直径，再利用圆周长及面积公式，得到超微量胶滴覆盖区域周长及面积；
超微量胶滴的接触角：气液界面和固液界面之间的夹角即为接触角，根据步骤(四)中拟合的超微量胶滴轮廓寻找轮廓边缘，并找出曲率突变的点即为突变点；精密驱动承载平台及工件载物台表面充分水平，在寻找突变点时认为水平面的斜率在一个设置的范围内，在此范围内的点的斜率都置为0，剩下的斜率变化最大的点即为所找的两个突变点；三相交界既是突变点也是拟合曲线的起点，因此对步骤(四)中拟合得到的曲线函数在(0，0)点求导数，所求得的导数即为曲线在三相交界的切线斜率t；再进一步根据反正切函数arctant，即确定超微量胶滴的接触角θ大小；
超微量胶滴的体积：根据上述步骤所得到的超微量胶滴的高度与弧顶曲线函数，进一步去求得超微量胶滴的体积；利用超微量胶滴弧顶曲线函数，以y轴为旋转轴，以超微量胶滴的半径作为积分上限，通过以下积分公式求得超微量胶滴体积；
7.一种动态在线检测方法，其特征在于：包括
根据权利要求2所述的基于机器视觉的超微量胶滴形状参数检测装置的检测方法；
利用CCD工业相机(9)对超微量胶滴的动态过程进行图像采集，在整个胶滴转移过程中，都用图像轮廓拟合的方法对采集的图像进行处理，再采用步骤(四)中的曲线函数拟合的方法，得到超微量胶滴铺展过程中的不同时刻的形状参数；在整个超微量胶滴形状参数的检测过程中，每两个超微量胶滴完成转移的时间间隔为T，T为超微量胶滴形状参数获取时长T获与将超微量形状参数反馈到工控机时长T反及根据反馈参数对点胶机构再次调整时长T控的总和，即：
T＝T获+T反+T控
对视觉检测系统设置取流间隔T，即完成对每个超微量胶滴的成型过程中及成型后的拍摄采集；同样利用步骤(四)，步骤(五)的方法得到超微量胶滴的形状参数。
CN202210463762.XA 2022-04-29 2022-04-29 一种基于机器视觉的超微量胶滴形状参数检测装置及方法 Active CN114923408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210463762.XA CN114923408B (zh) 2022-04-29 2022-04-29 一种基于机器视觉的超微量胶滴形状参数检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210463762.XA CN114923408B (zh) 2022-04-29 2022-04-29 一种基于机器视觉的超微量胶滴形状参数检测装置及方法

Publications (2)

Publication Number Publication Date
CN114923408A CN114923408A (zh) 2022-08-19
CN114923408B true CN114923408B (zh) 2024-01-30

Family

ID=82807484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210463762.XA Active CN114923408B (zh) 2022-04-29 2022-04-29 一种基于机器视觉的超微量胶滴形状参数检测装置及方法

Country Status (1)

Country Link
CN (1) CN114923408B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103644957A (zh) * 2013-12-03 2014-03-19 华中科技大学 一种基于机器视觉的点胶质量检测方法
CN105750156A (zh) * 2016-04-22 2016-07-13 大连理工大学 一种精密自动化点胶装置和方法
CN106017350A (zh) * 2016-07-05 2016-10-12 沈阳工业大学 基于机器视觉的中小模数齿轮快速检测装置及检测方法
CN113262944A (zh) * 2021-05-31 2021-08-17 商丘师范学院 一种磁激励导磁高粘胶液微量分配装置及方法
WO2021203773A1 (zh) * 2020-04-10 2021-10-14 中国科学院上海硅酸盐研究所 一种基于双相机视觉的熔融态悬浮椭球液滴图像处理算法
CN113947660A (zh) * 2021-09-24 2022-01-18 华中科技大学 一种适用于喷墨打印的微墨滴沉积过程观测方法及装置
WO2022027949A1 (zh) * 2020-08-04 2022-02-10 湖南大学 一种基于机器视觉的玻璃瓶底缺陷检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160011386A1 (en) * 2013-03-27 2016-01-14 Ccs Technology, Inc. Optoelectronic device and method of assembling an optoelectronic device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103644957A (zh) * 2013-12-03 2014-03-19 华中科技大学 一种基于机器视觉的点胶质量检测方法
CN105750156A (zh) * 2016-04-22 2016-07-13 大连理工大学 一种精密自动化点胶装置和方法
CN106017350A (zh) * 2016-07-05 2016-10-12 沈阳工业大学 基于机器视觉的中小模数齿轮快速检测装置及检测方法
WO2021203773A1 (zh) * 2020-04-10 2021-10-14 中国科学院上海硅酸盐研究所 一种基于双相机视觉的熔融态悬浮椭球液滴图像处理算法
WO2022027949A1 (zh) * 2020-08-04 2022-02-10 湖南大学 一种基于机器视觉的玻璃瓶底缺陷检测方法及系统
CN113262944A (zh) * 2021-05-31 2021-08-17 商丘师范学院 一种磁激励导磁高粘胶液微量分配装置及方法
CN113947660A (zh) * 2021-09-24 2022-01-18 华中科技大学 一种适用于喷墨打印的微墨滴沉积过程观测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于计算机视觉的透明液滴外形的检测技术;张德奎;马军山;;应用激光(第03期);全文 *
时间/压力型pL级微点胶技术;史亚莉;张文生;徐德;张正涛;张娟;;光学精密工程(第11期);全文 *

Also Published As

Publication number Publication date
CN114923408A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
US20190366333A1 (en) Electro-wetting-based microfluidic droplet positioning system and method
CN112326673B (zh) 基于机器视觉的注塑件表面缺陷检测方法和装置
CN111397539B (zh) 一种用于喷墨打印的多目视觉检测系统及方法
JP6830406B2 (ja) 分注装置
KR101037080B1 (ko) 본딩 장치 및 본딩 방법
CN109631764B (zh) 基于RealSense相机的尺寸测量系统及方法
CN114923408B (zh) 一种基于机器视觉的超微量胶滴形状参数检测装置及方法
CN105424721B (zh) 一种金属应变计缺陷自动检测系统
CN111678423A (zh) 基于介电润湿数字微流控的液滴检测系统及检测方法
CN102879308A (zh) 一种用于测量微小液滴直径的方法
CN201425471Y (zh) 端子高度差检测仪
CN104999180A (zh) 基于纳秒-皮秒-飞秒激光复合的陶瓷微结构3d打印方法
CN111687010A (zh) 一种点胶方法及装置
CN104132619A (zh) 一种在线高精度锡膏厚度测试仪及测试方法
CN113976471B (zh) 一种基于3d线共焦传感器的胶量检测标记设备及方法
CN205333535U (zh) 一种金属应变计缺陷自动检测系统
CN102680743B (zh) 微纳仪器装备中模板快速逼近和原位检测装置及方法
CN110579652A (zh) 一种表面电荷的测量方法和测量装置
JP2005537928A (ja) 基板に流動媒体を塗布する装置および方法
CN110708534A (zh) 基于双ccd的点胶针头校正方法及装置
CN114322780B (zh) 在线监测贴装重复精度方法
CN114252243B (zh) 一种微柱面透镜阵列的检测装置和方法
CN115980061A (zh) 一种基于点云数据的电路板针脚高度检测装置和方法
CN113639823B (zh) 一种基于波纹图像识别的高精度液面检测系统及方法
Liu et al. Contact force–based method for controlling the dispensing volume of ultra-micro-adhesive

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant