光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统及
方法
技术领域
本发明涉及伺服定位领域,尤其涉及光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统和光学聚焦镜头的焦点感光元件三维空间视觉伺服定位方法。
背景技术
在光学领域中,感光元件是感应光照的半导体材料,光学聚焦镜头作用是将透过的光线汇聚成一个光照强度比较强的焦点,感光元件与光学聚焦镜头焦点的对位精度直接决定了光学产品的质量,本专利的目标是实现感光元件与光学聚焦镜头焦点的精准对位。传统的人工装配采用感光元件返回的电压信号作为它的定位完成标志,这种定位方法效率低、精度低,不符合当前工业自动化的理念。
发明内容
本发明设计开发了一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统,通过三轴运动控制装置调节感光元件,以实现光学聚焦镜头的焦点和感光元件的自动对位,系统操作简单。激光测距仪的镜头符合光学聚焦镜头的要求,本发明以激光测距仪的镜头为实际应用。
本发明还有一个目的是提供一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位方法,分别拍摄光学聚焦镜头的光斑图像和感光元件图像,并求解光学聚焦镜头的焦点中心坐标和感光元件的中心坐标,将二者差值转换为运动控制系统的坐标,完成对位操作,提高了对位精度。
本发明提供的技术方案为:
一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统,包括:
光学聚焦镜头;
感光元件,其设置在所述光学聚焦镜头一侧;
三轴运动控制装置,其连接所述感光元件,并能够调整所述感光元件的位置;
激光发射器,其设置在所述光学聚焦镜头下方;
反光板,其设置在所述其设置在所述光学聚焦镜头另一侧;
焦点成像板,其设置在所述其设置在所述光学聚焦镜头另一侧,能够将焦点的光照信息返回相机形成焦点图像;
分光棱镜,其设置在所述激光发射器和所述反光板之间;并能够将反光板上的反射光经所述光学聚焦镜头在焦点成像板上形成焦点图像;
相机,其设置在所述分光棱镜上方;
同轴光源,其设置在所述相机和所述分光棱镜之间;
其中,所述激光器发射的光线能够经过反光板反射后通过光学镜头在焦点成像板上形成焦点图像后反射回相机中;所述同轴光源发射的光线经过分光棱镜投射在感光元件上。
一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位方法,包括:
步骤一、对所述光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统进行相机标定,将感光元件作为标定过程中的检测对象,并将图像坐标变换为运动系统的坐标;
步骤二、获取不同位置下的焦点图像,选取光斑区域平均灰度值最高的值,并以此作为参考值,确定光斑区域强度的阈值范围;
步骤三、开启激光发射器,将焦点成像板移动初始位置,通过光学系统采集光学聚焦镜头的激光焦点图像,并判断所述激光焦点图像的光斑区域强度是否在所述步骤二得到的阈值范围内;
若所述激光焦点图像的光斑区域强度不在所述步骤二得到的阈值范围内,则对所述焦点成像板进行调节,直到所述激光焦点图像的光斑区域强度在所述步骤二得到的阈值范围内,并记录此时所述焦点成像板的位置;
确定光斑区域,然后在焦点图像中的光斑区域内进行中心检测,计算出焦点图像中心坐标;
步骤四、关闭激光发射器,打开同轴光源,将感光元件移动至所述焦点成像板位置,然后通过光学系统采集感光元件图像,然后调用感光元件定位程序,计算出感光元件中心坐标;
步骤五、将焦点中心像素坐标与感光元件中心像素坐标的差值转换为运动控制系统的坐标,并驱动运动控制系统,完成对位操作。
优选的是,所述步骤三所述的焦点中心检测过程包括以下步骤:
步骤a、通过光斑梯度对焦点图像进行分割,得到二值图像;
步骤b、对所述二值图像进行区域填充,得到填充图像;
步骤c、对所述填充图像进行光斑滤波,得到焦点图像中的光斑区域;
步骤d、对所述焦点图像中的光斑区域进行强度校核,确定焦点的空间位置;
步骤e、采用重心法计算焦点图像中心坐标。
优选的是,所述步骤d中光斑强度校核过程包括:
计算焦点图像的光斑区域内的平均灰度值
若进行重心检测,计算该焦点图像的中心坐标,否则,调节Z轴,变化量为ΔZ,直至该位置焦点图像的光斑区域满足阈值范围;
其中,
其中,为光斑区域内的平均灰度值,Hth为光斑强度阈值,λ为Z轴调节的最小步长,ΔH为每一个步长λ相对于的平均灰度值变化。
优选的是,所述步骤e焦点图像中心坐标(x0,y0)的计算公式为:
其中,(x0,y0)为光斑区域的中心点坐标,i为I'(i,j)在x轴方向的坐标值,j为I'(i,j)在Y轴方向的坐标值,I'(i,j)为第(i,j)个像素点对应的灰度值。
优选的是,所述步骤五感光元件中心坐标计算过程还包括:
步骤Ⅰ、使用高斯卷积核对所述光学系统采集到的源图像、包含有感光元件的模板图像分别进行高斯模糊,得到高斯卷积后的图像;
步骤Ⅱ、对所述高斯卷积后的图像进行隔点采样,得到采样后图像;
步骤Ⅲ、计算经过隔点采样后的源图像和包含有感光元件的模板图像的相关系数,确定选取最佳匹配点,并在源图像中的该位置点提取出与模板图像相同尺寸的图像得到粗定位图像;
步骤Ⅳ、对所述粗定位图像进行边缘提取,得到梯度图像然后再对其进行连通域标记操作,最后并根据目标图像面积提取出梯度图像的目标对象的边缘轮廓区域;
步骤Ⅴ、对所述目标对象的边缘轮廓目标区域采用最小二乘法圆拟合算法计算出边缘轮廓像素点,进而求解出感光元件的中心坐标。
优选的是,所述步骤Ⅰ中卷积运算公式为:
式中,S(i,j)为模板图像、T(i,j)为待匹配模板图像,S′(i,j)和T′(i,j)分别为高斯卷积后的图像。
优选的是,所述步骤Ⅲ中相关系数计算公式为:
其中,R(i,j)的最大值为(i,j)的最佳匹配点。
优选的是,所述步骤Ⅳ中包括:
首先,计算出图像每一个像素点的梯度值,得出一幅梯度图像M;
其次,把梯度图像中的值按照从小到大排列并用初始化的双阈值d和k将其划分为三个区间Q0、Q1和Q2;其中,d和k的计算公式为:
各类类内方差为:
其中,wj,j=0,1,2;w0、w1、w2分别为三个区间Q0、Q1和Q2对应的梯度值分别占整幅梯度图像的比重值,mj,j=0,1,2;m0、m1、m2分别是对应三个区间Q0、Q1和Q2梯度值的期望值,pi为属于同一梯度值i在整幅图像出现的频率,分别为三个区间Q0、Q1和Q2对应的类内方差,mT为整幅梯度图像的期望值,(l-1)为最大梯度值,当为对应的d、k时,为最佳的高低阈值,Q0为非边缘点,Q1为可能边缘点,Q2为确认边缘点。
优选的是,所述步骤Ⅴ的感光元件的中心坐标计算过程为:
首先,计算拟合出来的圆心到边缘轮廓上所有点之间距离的平方f:
然后,根据下式求出满足条件的圆心坐标和半径r:
其中,(xi,yi)为目标对象边缘轮廓上的像素点,(xc,yc)感光元件的中心坐标。
本发明所述的有益效果
本发明设计开发了一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统,通过三轴运动控制装置调节感光元件,以实现光学聚焦镜头的焦点和感光元件的自动对位,系统操作简单。
本发明还提供一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位方法,分别拍摄光学聚焦镜头的光斑图像和感光元件图像,并求解光学聚焦镜头的焦点中心坐标和感光元件的中心坐标,将二者差值转换为运动控制系统的坐标,完成对位操作,提高了对位精度。整个系统使用简单,适用于提高工业场合中感光元件与光学聚焦镜头焦点的对位精度及效率。
附图说明
图1为本发明所述的基于机器视觉的光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统的结构示意图。
图2为本发明所述的基于机器视觉的光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统的原理示意图。
图3为本发明所述的基于机器视觉的光学聚焦镜头的焦点感光元件三维空间视觉伺服定位方法的流程图。
图4为本发明所述的焦点中心坐标计算流程图。
图5为本发明所述的感光元件中心坐标计算流程图。
图6为本发明所述的光学聚焦镜头焦点图像。
图7为本发明所述的图像分割后的二值图像。
图8为本发明所述的区域填充及光斑滤波后的图像。
图9为本发明所述的重心坐标图像。
图10为本发明所述的感光元件图像。
图11为本发明所述的高斯模糊处理后图像
图12为本发明所述的连通域标记图像。
图13为本发明所述的筛选后目标图像
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
如图1、2所示,本发明提供的基于机器视觉的光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统,包括:定位机构100、光学系统400、视觉测量系统300和光学聚焦镜头组件200。
其中,定位机构采用三轴运动控制系统101,三轴运动控制系统连接焦点成像板110和感光元件120,三轴运动控制系统的作用是完成焦点成像板和感光元件的运动控制。
光学系统400包括激光发射器210、分光棱镜220、反光板230、焦点成像板110、同轴光源250,视觉测量系统300包括相机260。激光发射器210与光学聚焦镜头240同侧,由于外界光线较弱,增强光学聚焦镜头的聚焦效果;分光棱镜220,设置在相机260下方以及光学聚焦镜头240正前方,它的作用在于两方面,一方面,反光板上230的反射光通过分光棱镜220后,经光学聚焦镜头240聚焦成焦点图像,并经过焦点成像板110返回相机,另一方面,同轴光源250发出的光线通过分光棱镜220投射在感光元件120上,提高图像的采集质量;焦点成像板110用于焦点图像光斑阈值范围的初始标定,以及通过运动控制系统调节Z轴确定出符合阈值范围的焦点图像;同轴光源250设置在分光棱镜220和相机260中间位置,它的作用是避免了光学聚焦镜头240的镜面反射效应,克服环境光干扰,以及保证感光元件图像的稳定采集.
视觉测量系统300硬件部分包括摄像机和计算机控制系统,实现图像的采集与处理,软件部分包括焦点中心检测系统、感光元件图像检测与定位系统。光学聚焦镜头组件包括光学聚焦镜头和感光元件,感光元件位于PCB上,
如图3所示,一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位方法,包括:
步骤一、对所述光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统进行相机标定,将感光元件作为相机标定过程中的检测对象,标定的目的是将图像坐标系变换为运动系统坐标系;
相机标定过程:定义该系统的三坐标模型,采用线性标定法标定出λx,λy,γx,γy,首先选定初始位置E,通过运动控制系统将感光元件移动至初始位置E,然后采用相机不动,对感光元件进行运动控制,运动控制过程包括:先保持感光元件在Y方向不变,将感光元件在沿X轴方向移动Smm,记录感光元件上光斑图像质心坐标为(u1,v1),然后保持感光元件在X轴方向不变,将感光元件在沿Y轴移动Smm,记录感光元件图像的质心坐标(u2,v2),经多次测量得到取其平均值,计算公式如下:
λx,λy的计算公式如下:
S2=(λxΔu)2+(λyΔv)2
采集多组数据,构建方程组,计算出最接近的λx,λy值,数据样本越多,结果越稳定,对于方程个数大于未知量的个数,可用最小二乘法求解。
旋转角参数γ有正负之分,规定运动平台坐标系相对图像坐标系逆时针转动为正,顺时针为负,旋转偏角与λx,λy关系如下:
其中旋转角γ的值域通过上面公式可计算γx,计算γy时需结合下面公式:
坐标转换公式如下所示:
其中,Δu=u2-u1,Δν=v2-v1;λx为x轴方向上的每个像素的物理尺寸,λy为y轴方向的每个像素的物理尺寸,γx图像坐标系与运动坐标系的X轴偏转角,γy为图像坐标系与运动坐标系的Y轴偏转角xw为运动控制系统在x轴方向上需要的移动的坐标值,yw为运动控制系统在y轴方向上需要的移动的坐标值。
步骤二、获取不同位置下的焦点图像,选取光斑区域平均灰度值最高的值,并以此参考值,确定光斑区域强度的阈值范围;
焦点图像标定:焦点图像标定:采用由远及近的策略,遍历所有光斑区域强度的可能,获取不同位置下的光斑图像,并统计每一个位置对应光斑区域内的平均灰度值Hi(i=1,2…n),并计算所有Hi的平均值同时计算出每一个Hi对应的光斑区域轮廓ri、rmin和rmax为ri中的最小值和最大值。rmin对应的光斑区域强度记为Hmin,rmax对应的光斑区域强度记为Hmax,感光元件的半径为r的范围[rmin,rmax],采用线性插值方法,计算r在[Hmin,Hmax]对应的H,然后将H与比较,当两者差距较小时,采用H作为光斑强度阈值Hth,反之则在两者之间进行综合考虑,选择依据是光斑轮廓半径接近于感光元件轮廓半径r。光斑强度的阈值范围[Hth,255]。
步骤三、开启激光发射器,将焦点成像板移动初始位置,通过光学系统采集光学聚焦镜头的激光焦点图像,并判断所述激光焦点图像的光斑区域强度是否在所述步骤二得到的阈值范围内;
若所述激光焦点图像的光斑区域强度不在所述步骤二得到的阈值范围内,则对所述感光元件进行调节,直到所述激光焦点图像的光斑区域强度在所述步骤二得到的阈值范围内,并记录此时所述焦点成像板的位置;
相机标定和焦点图像标定都完成之后,首先进行的焦点图像的中心检测过程。打开激光发射器,通过运控控制系统将焦点成像板移动至初始位置,光线遇到反光板反射回来,经过分光棱镜投射到光学聚焦镜头表面,然后聚焦后在焦点成像板上形成焦点图像,并通过阈值判断该位置焦点图像的光斑区域强度是否在此范围,如果条件满足,则进行焦点中心检测,反之,则进行空间Z轴调节,直至条件符合。
步骤四、确定光斑区域,然后在焦点图像中的光斑区域内进行中心检测,计算出焦点图像中心坐标;
如图4所示,焦点图像中心检测方法:首先是确定光斑区域,然后进行光斑强度校核,最后在焦点图像中的光斑区域内进行重心检测。焦点图像中心检测方法的具体步骤如下:
光斑区域的获取包括图像分割、区域填充、光斑滤波、光斑区域强度判断。图像分割:梯度算子采用两个卷积核计算焦点图像I的梯度值,计算公式如下:
其中,I为焦点图像;Gx为焦点图像I水平方向的梯度;Gy为焦点图像I水平方向的梯度;M[i,j]为I的梯度图像。
其次,采用经验梯度阈值对光斑梯度图像M进行选择,去除因衍射、散射、干扰光线的干扰区域,获取到图像Q;
区域填充:首先将图像Q进行反转得到Q1;通过连通域标记法对Q1进行标记替换:光斑孔洞区域被标记为0,其余区域被标记1,替换之后得到图像Q2;
再次对图像Q2进行反转操作,得到图像Q3,并与图像Q进行相加操作,孔洞区域被填充,获取到图像Q′;
光斑滤波:首先对Q′对图像进行迭代腐蚀,终止条件为腐蚀后图像连通区域数量为1;
其次,对图像Q′进行连通域标记,获取到图像Q″;最后对图像进行区域筛选操作,图像Q4任意一非零像素点在Q″相应位置对应的标记区域即为需要提取的光斑区域,同时计算光斑区域的强度值是否在[Hth,255]范围,如果在则进行下一步的重心检测,否则,调节Z轴,直至该位置焦点图像的光斑区域满足阈值范围,此位置图像标记为I’,记录此时焦点成像板此时空间位置e。
焦点图像的确定完成后,然后对焦点图像I’的光斑区域采用重心检测进行中心定位,计算公式如下:
其中,(x0,y0)为光斑区域的中心点坐标,i为像素点(i,j)的横坐标,j为像素点(i,j)的纵坐标,I'(i,j)为坐标像素点(i,j)对应的灰度值。
步骤五、关闭激光发射器,打开同轴光源,将感光元件移动至所述焦点成像板位置,然后通过光学系统采集感光元件图像,然后调用感光元件定位程序,计算出感光元件中心坐标;
镜头焦点位置确定好之后,关闭激光发射器,打开同轴光源,通过运动控制系统将感光元件移动至e点位置,相机标定参数中的λx,λy依据Z轴变化做一个调整。变换公式:
λx'=Δλx+λx
λy'=Δλy+λy
其中,w、h分别为图像坐标系X、Y轴的分辨率,H为镜头的水平视场角,V为垂直视场角,ez为焦点空间位置e的Z轴坐标;Ez为相机标定位置E的轴坐标;λx'为校正后X轴方向上的每个像素的物理尺寸,λy'为校正后Y轴方向上的每个像素的物理尺寸(当Δλx、Δλy远小于于λx、λy时,可忽略其影响)。
下一步,调用感光元件的图像处理程序对其定位,感光元件图像定位流程图详见附图5。具体方法如下:
首先是进行感光元件图像的采集及灰度化处理,然后根据实际条件加入简单的去噪或锐化等图像增强操作。图像预处理之后,然后对感光元件进行粗定位,在粗定位阶段中,本发明提供了一种基于金字塔搜索的NCC的算法,在保证了优良的抗干扰效果的前提下,极大提高搜索效率。
基于金字塔的NCC算法,第一步使用高斯卷积核对图像进行高斯模糊:
S(i,j)为模板图像、T(i,j)为待匹配模板图像,S′(i,j)和T′(i,j)分别为高斯卷积后的图像,G(xi,yj)为高斯卷积核,σ2为高斯函数的方差。
其次对图像S′(i,j)和T′(i,j)隔点采样,处理后的图像为S″(i,j)和T″(i,j),行数列数变为采样前的二分之一,处理图像的时间复杂度变为原来的四分之一;
NCC算法计算S″和T″的相关系数R(i,j)计算公式:
最大的R(i,j)值对应(i,j)即为最佳匹配点,S″(s,t)为对图像S′(i,j)隔点采样后的图像;E(S”)为图像S″(s,t)平均灰度值;T”(s,t)为被模板图像S″(i,j)覆盖的局部区域图像;E(T”)为图像T”(s,t)的平均灰度值。
如图10-13所示,对粗定位阶段后,进入边缘提取阶段,采用基于Qtsu的Canny算法。具体的步骤如:
首先计算出图像每一个像素点的梯度值,得出一幅新的图像,设为梯度图像M。其次把梯度图像中的值按照从小到大排列并用初始化的双阈值d和k将其划分为三个区间:Q2(确认为边缘点),Q1(可能是边缘点),Q0(非边缘点)。同时计算出属于同一梯度值i在整幅图像出现的频率Pi,w0、w1、w2代表这三个区间对应的梯度值分别占整幅梯度图像的比重值,m0、m1、m2分别是对应区间梯度值的期望值,mT为整幅梯度图像的期望值,最大梯度值为(l-1),计算公式如下:
各类类内方差为:
其中,wj,j=0,1,2;w0、w1、w2分别为三个区间Q0、Q1和Q2对应的梯度值分别占整幅梯度图像的比重值,mj,j=0,1,2;m0、m1、m2分别是对应三个区间Q0、Q1和Q2梯度值的期望值,pi为属于同一梯度值i在整幅图像出现的频率,分别为三个区间Q0、Q1和Q2对应的类内方差,mT为整幅梯度图像的期望值,(l-1)为最大梯度值,当为对应的d、k即为最佳的高低阈值,Q0为非边缘点,Q1为可能边缘点,Q2为确认边缘点。
当σ2取得最大值时,对应的d、k即为最佳的高低阈值,最后将d、k设为Canny算法的高低阈值,并进行边缘提取;
在边缘提取阶段后,下一步是目标提取,本专利采用连通域标记法,具体步骤包括以下:首先使用连通区域标记法将属于同一连通域的像素点用相同的数字进行标记;然后计算出每个区域的相关属性,本专利所采用面积属性,最后根据目标对象的面积值在整幅图像中设定筛选范围,并提取目标区域,
在提取目标轮廓之后进入精定位阶段,采用最小二乘法轮廓拟合算法,具体步骤如下:计算拟合出来的圆心到边缘轮廓上所有点之间距离的平方差f,(xi,yi)为目标对象边缘轮廓上的像素点,公式如下:
根据下式求出满足条件的圆心坐标(xc,yc)和半径r
步骤六、将焦点中心像素坐标与感光元件中心像素坐标的差值转换为运动控制系统的坐标,并驱动运动控制系统,完成对位操作:
计算感光元件与镜头焦点像素坐标差,并将其转换为运动控制系统的坐标值。
代入下面公式:
xw,yw为运动控制系统需要的移动的坐标值。
本发明设计开发了一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统,通过三轴运动控制装置调节感光元件,以实现光学聚焦镜头的焦点和感光元件的自动对位,系统操作简单。
本发明还有一个目的是提供一种光学聚焦镜头的焦点感光元件三维空间视觉伺服定位方法,分别拍摄光学聚焦镜头的光斑图像和感光元件图像,并求解光学聚焦镜头的焦点中心坐标和感光元件的中心坐标,将二者差值转换为运动控制系统的坐标,完成对位操作,提高了对位精度,。整个系统使用简单,适用于提高工业场合中感光元件与光学聚焦镜头焦点的对位精度及效率。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。