CN114719747B - 一种基于双光路的微位移视觉测量装置与方法 - Google Patents

一种基于双光路的微位移视觉测量装置与方法 Download PDF

Info

Publication number
CN114719747B
CN114719747B CN202210243471.XA CN202210243471A CN114719747B CN 114719747 B CN114719747 B CN 114719747B CN 202210243471 A CN202210243471 A CN 202210243471A CN 114719747 B CN114719747 B CN 114719747B
Authority
CN
China
Prior art keywords
light
industrial camera
image
double
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210243471.XA
Other languages
English (en)
Other versions
CN114719747A (zh
Inventor
李海
许诺
张宪民
沈楠
廖祝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210243471.XA priority Critical patent/CN114719747B/zh
Publication of CN114719747A publication Critical patent/CN114719747A/zh
Application granted granted Critical
Publication of CN114719747B publication Critical patent/CN114719747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于双光路的微位移视觉测量装置与方法,其用于精密定位过程的测量。该装置包括成像系统支撑装置、精密定位滑台、双光路分光模块、工业相机、显微镜头、相机光源、标志板、标志图案、微位移定位平台等部分。两个相机在双光路分光模块的两个出光口处成正交布置,分别捕获定位过程中标志图案在X方向和Y方向的图像信号,同时每个相机减少冗余的像素显示,增加单位时间的视频采样频率,提高对精密定位过程测量的动态性能;同时利用X和Y两个方向的图像特征分别进行基于灰度信息的模板匹配,提高了视觉测量的测量范围;最后在模板匹配的过程中引入了亚像素插值技术,实现了对精密定位过程的高精度测量。

Description

一种基于双光路的微位移视觉测量装置与方法
技术领域
本发明属于精密测量技术领域,尤其涉及一种基于双光路的微位移视觉测量装置与方法。
背景技术
精密定位是指将一个目标准确定位到某个给定坐标系下的参考点的技术,广泛应用于半导体制备、纳米测量、微纳加工和微纳操作等领域。随着各领域科学研究的不断推进,对精密定位的动态响应性能和定位精度都有了更高的要求。
要实现高速高精度的精密定位,必须有相应的测量技术,以实现对精密定位过程的实时监测和反馈控制,视觉技术以其非接触、可视化、全场测量、测量精度与范围动态可调等优点在测量领域应用广泛。虽然视觉技术具有众多优点,但要将其应用于精密定位过程的位移测量,还需要满足如下要求:第一,为了提高精密定位过程的精度,必须提高对其进行测量的视觉测量分辨率;第二,由于精密定位过程通常是在平面或空间中进行的,在满足测量精度的前提下需要提供一种测量范围更大的视觉测量技术;第三,需要提高视觉测量的采样频率,以便于及时的获取当前时刻的精密定位距离。为了提高视觉测量的分辨率,可以增加视觉系统的放大倍率或者提高相机的分辨率。然而,受限于显微镜的成像原理,增加放大倍率会导致视场(有效测量范围)缩小;提高相机的分辨率会导致图像采集帧率下降。显然,在视觉测量中存在测量精度、测量范围和测量频率之间相互制约的问题。
现有的视觉测量方法主要可以分为基于区域灰度的方法和基于相位相关的方法,对于基于区域灰度的视觉测量方法,主要原理是利用初始模板各个像素处的灰度值直接在测量过程当前帧的输入图像中进行搜索,以实时确定在当前图像中初始模板的位置。在我们先前的研究中,开发了一个基于面阵相机和单光路显微镜的平面二自由度微运动测量装置,并提出了一种基于逆加速优化搜索算法的测量算法。在所提算法中,由于采用了亚像素插值,因此测量分辨率得到了大力提升(测量范围与测量分辨率由103提升到了104~105)。此外,由于算法中将模板匹配问题转化为逆向加速迭代优化求解问题,因此图像处理速度得到了大幅提升,且计算量只与初始化中模板大小相关。然而,由于面阵相机采集频率与采集图像的分辨率成负相关关系,在提高了采集图像分辨率的情况下无法兼顾较高速度的相机采集帧率,导致所提测量方法的测量频率只能达到数百Hz,无法实现超高频率的视觉测量(Li H,Zhu B,Chen Z,Zhang X.Realtime in-plane displacements tracking of theprecision positioning stage based on computer micro-vision[J].MechanicalSystems and Signal Processing,2019,124:111-123.);对于基于相位相关的视觉测量方法,主要是将测量过程中任意时刻前后两帧图像的位移变化经傅里叶变换在频域中转化为线性相位差进行测量。Guelpa等人通过将不同周期网格排列形成的特殊图案添加到被测量物体上,利用网格的周期性在频域内进行相位计算以得到高分辨率的视觉测量。此外,为了获得较高的视觉采样频率,该种测量方法减少了获取图像的曝光时间(18μs),减小了捕获图像的尺寸大小(320×26pixel),使得该种测量方法的采样频率达到1389Hz,实现了高频率的视觉测量。然而,较小的图像尺寸导致视觉测量的有效范围随之减小,并且由于标志图案仅在单个方向上具有周期性,使得该种测量方法仅适用于单自由度方向的位移测量,无法实现大范围的视觉测量(Guelpa V,Laurent G J,Sandoz P,et al.SubpixelicMeasurement of Large 1D Displacements:Principle,Processing Algorithms,Performances and Software[J].Sensors,2014,14(3):5056-73.)。以上这些现有的视觉测量方法存在的共性问题就是视觉测量系统的测量范围、测量精度和测量速度之间相互矛盾。
因此现有精密定位技术需要一种提高视觉采样频率、减少视觉测量过程数据冗余的测量装置,来提高精密定位过程中视觉测量的采样频率和动态响应性能,并且需要一种高精度大范围的视觉测量方法,来提高精密定位过程的定位精度以及满足精密定位过程对测量范围的需求。
发明内容
本发明的目的是提供一种基于双光路的高速高精度微位移视觉测量装置与方法,该装置和方法可以有效解决精密定位过程中视觉测量采样频率低,定位精度低,测量范围小的问题,为后续视觉测量引导的精密定位研究和应用提供新的思路。为达到上述目的,本发明申请提出了一种基于双光路的高速高精度微位移视觉测量装置与方法,
本发明至少通过如下技术方案之一实现。
一种基于双光路的微位移视觉测量装置,包括成像系统支撑装置、定位滑台、双光路分光模块、第一工业相机、第二工业相机、显微镜头、相机光源、标志板、定位平台;
所述成像系统支撑装置位于定位平台上方,定位滑台设置在成像系统支撑装置前方,双光路分光模块连接在定位滑台上,第一工业相机、第二工业相机、显微镜头、相机光源分别通过第一接口、第二接口、第三接口、第四接口与双光路分光模块的不同接口连接,标志板上设有标志图案,标志板置于定位平台上方。
进一步地,所述的双光路分光模块内部含有分光镜,第一反射镜、第二反射镜,入射光经过显微镜头进入双光路分光模块后被分光镜分为两束,其中一束直接穿透分光镜射向双光路分光模块的第一接口,另一束经过分光镜反射射向第一反射镜,再由第一反射镜反射到双光路分光模块的第二接口。
进一步地,所述的相机光源为同轴光源,发出的光进入双光路分光模块后通过第二反射镜的反射经分光镜射到标志图案上。
进一步地,所述第一工业相机在双光路分光模块的第一接口处成水平方向布置,主要用于接收标志图案在X方向的图像特征;所述第二工业相机在双光路分光模块的第二接口处成纵向方向布置,主要用于接收标志图案在Y方向的图像特征。
进一步地,所述标志图案是正方型白色块,或者是携带有编码信息的二维图案。
进一步地,所述成像系统支撑装置为龙门架结构。
一种实现所述的一种基于双光路的微位移视觉测量装置的视觉测量方法,主要包括以下步骤:
S1、调节定位滑台使显微镜头下方的标志图案成像清晰;
S2、第一工业相机和第二工业相机获取标志图案在初始位置X、Y两个正交方向上的图像信号并传输到计算机;
S3、计算机获取初始图像信号后,通过图像处理算法对图像进行预处理操作提取初始模板;
S4、定位平台进行精密定位,第一工业相机和第二工业相机获取微位移运动平台10上标志图案在当前位置X、Y两个正交方向上的图像信号并传输到计算机;
S5、对于第一工业相机所采集的X方向的图像特征,利用基于区域灰度特征的模板匹配算法,对标志图案在X方向的运动进行测量追踪;
S6、对于第二工业相机所采集的Y方向的图像特征,利用基于区域灰度特征的模板匹配算法,对标志图案在Y方向的运动进行测量追踪。
进一步地,采用基于区域灰度特征的模板匹配算法,将视觉测量过程转化为多变量非线性最优化问题,测量目标在X方向和在Y方向移动距离的目标函数分别为:
Figure GDA0004137405160000041
Figure GDA0004137405160000042
其中F(qxt)和F(qyt)表示测量目标在X方向和在Y方向移动距离qxt和qyt的目标函数,Tx0和Ty0表示在测量初始时刻从第一工业相机和第二工业相机捕获的初始图像中提取的一块矩形区域得到的特征模板,z和k表示特征模板Tx0和Ty0中像素点的坐标,S和E表示特征模板Tx0和Ty0中所有像素点的坐标集合,
Figure GDA0004137405160000043
表示相似度评价函数,Ixt表示精密定位过程中t时刻第一工业相机所捕捉到的标志板在当前位置X方向的图像信号,Iyt表示精密定位过程中t时刻第二工业相机所捕捉到的标志板在当前位置Y方向的图像信号,W(z;qxt)表示模板Tx0中坐标z经过映射变换Hx后的图像坐标;W(k;qyt)表示模板Ty0中坐标k经过映射变换Hy后的图像坐标,Tx0(z)表示模板Tx0中坐标为z的灰度值,Ty0(k)表示模板Ty0中坐标为k的灰度值。
进一步地,相似度评价函数为平均绝对差函数(MAD)、误差平方和函数(SSD)或归一化积相关函数(NCC)。
进一步地,对测量目标在X和Y方向的精密定位距离qxt和qyt的计算过程中,双线性亚像素插值公式为:
Figure GDA0004137405160000051
其中(x,y)为待插值点的坐标,I(x,y)为(x,y)坐标进行亚像素插值后的灰度值;(xi,yj)分别表示围绕(x,y)的二领域整像素点坐标,I(xi,yj)为(xi,yj)坐标处的灰度值。
通过将微位移定位平台精密定位过程的视觉测量转化为多变量非线性最优化问题,分别计算出微位移定位平台在X和Y方向的精密定位距离,实现对精密定位过程中微位移运动平台运动的高精度实时监测,而引入亚像素插值技术,进一步提升了测量的分辨率,提高了测量过程的精度。
本发明具有如下优点:
(1)在针对微位移运动平台的视觉测量中采用双光路分光模块将采集的图像特征信息分为两部分,其中一部分被位于双光路分光模块的第一出口的第一工业相机捕捉,显示所述标志板上标志图案在X方向的图像征,另一部分被位于双光路分光模块的第二出口的第二工业相机捕捉,显示所述标志板上标志图案在Y方向的图像特征,所述工业相机只负责捕获X、Y一个方向上的图像特征,每帧图像所携带的特征信息大量减少,使得单位时间内的采样频率大幅度提高,提高了对精密定位过程视觉测量的采样频率和动态性能。
(2)另一方面,由于两个工业相机成正交布置,分别捕获了X方向和Y方向的图像特征,并利用X,Y两个方向的图像特征,通过基于区域灰度特征的模板匹配方法,将微位移定位平台精密定位过程的视觉测量转化为多变量非线性最优化问题,分别测量出微位移定位平台在X和Y两个方向的精密定位距离,提高了精密定位过程中视觉测量的测量范围。
(3)在计算的过程中引入亚像素插值技术,进一步提升了视觉测量的分辨率,实现对精密定位过程中微位移运动平台运动的高精度测量。
附图说明
图1为一种基于双光路的微位移视觉测量装置与方法的总体结构示意图;
图2为本发明中双光路分光模块内部光路图;
图3为本发明中一种高速高精度微位移视觉测量方法的流程示意图;
图中示出:1-成像系统支撑装置、2-精密定位滑台、3-双光路分光模块、4-第一工业相机、5-第二工业相机、6-显微镜头、7-相机光源、8-标志板、9-标志图案、10-微位移定位平台、11-双光路分光模块第一出口、12-双光路分光模块第二出口、13-双光路分光模块第三出口、14-镜筒、15-显微镜、16-分光镜、17-第一反射镜、18-第二反射镜、19-白色矩形标志图案、20-不同周期条纹交织标志图案、21-伪随机序列二维编码标志图案。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,本实施例提供一种基于双光路的微位移视觉测量装置,包括成像系统支撑装置1、精密定位滑台2、双光路分光模块3、第一工业相机4、第二工业相机5、显微镜头6、相机光源7、标志板8、标志图案9、微位移定位平台10。
所述标志图案9包括白色矩形标志图案19、不同周期条纹交织标志图案20和伪随机序列二维编码标志图案21。
所述的成像系统支撑装置1为龙门架结构,横梁上固定精密定位滑台2;所述的双光路分光模块3通过螺栓固定在精密定位滑台2上,调节精密定位滑台2可以控制成像系统在竖直方向的高度。第一工业相机4安装在双光路分光模块3的接口一处,第二工业相机5安装在双光路分光模块3的接口二处,显微镜头6安装在双光路分光模块3的接口四处,相机光源7安装在双光路分光模块3的接口三处,标志图案9位于标志板8上方中央位,标志板8置于微位移定位平台10上方。所述的微位移定位平台10可以实现在X、Y方向上的移动。
所述第一工业相机4和第二工业相机5的相机光源为同轴光源,光源通过漫射板发散打到接口3处的分光镜上,经分光镜反射后到达微位移定位平台上的标志图案,再由标志图案反射到显微镜头中。由于视觉采样频率的大幅度提高,每帧图像采集过程的曝光时间缩短了,将相机光源设置为同轴光源可以提高被测对象的光照条件,保证在较短曝光时间内的成像质量。
入射光经显微镜头6后进入双光路分光模块3,通过内部分光镜双光路分光模块3将入射光分为两束,其中一束直接穿透分光镜射向双光路分光模块3的接口一由第一工业相机4采集,另一束经过分光镜反射射向反射镜,再由反射镜反射到双光路分光模块的接口二由第二工业相机5采集。为了在减少像素显示情况保障视觉测量的精度,所述的第一工业相机和所述的第二工业相机在双光路分光模块的两个出光口处成正交布置。
在本实例中,两台工业相机4、5的型号是Teledyne DALSA的Genie Nano-5G-M2050,其最大分辨率为2064×1544;显微镜的型号为20X Mitutoyo Plan Apo,整体成像系统的放大倍率为20倍,理论测量范围为0.35mm×0.25mm,测量精度可达0.17μm(亚像素精度在0.01pixel时对应的测量分辨率可达1.7nm)。
作为另一种优选,所述的第一工业相机4和第二工业相机5可以为CCD面阵相机,可以对相机所采集的图像画幅尺寸进行控制。为了减少视觉测量过程中的数据冗余,提高视觉采样频率,经对图像画幅尺寸控制后所述的第一工业相机4和第二工业相机5采集的图像特征形状为细长条,减少图像在高度方向的像素显示,主要采集在宽度方向的图像特征。
在2064×1544分辨率下相机的最大帧率为187fps,每秒像素数据的传输总量为2064×1544×187=595934592。当减少图像高度方向的像素显示1544为50,使相机分辨率为2064×50时,在每秒像素数据的传输总量不变的情况下,相机的最大帧率可提高为5774fps;进一步减少图像高度方向的像素显示,使相机分辨率为2064×30时,相机的最大帧率可提高为9624fps。相比使用单个相机采集整幅图像,使用双相机分别采集X和Y两个方向的图像特征大大提高了视觉测量过程中的视觉采样频率。
如图2所示,为了避免因提高相机帧率,缩短了每帧图像的曝光时间而造成成像质量差的情况,在双光路分光模块3的接口三处安装了同轴光源7,光源通过第二反射镜的反射经过分光镜射到标志图案9上,为整个视觉测量过程提供充足的光照条件。
如图2所示,入射光经过显微镜6进入双光路分光模块3后被分光镜分为两束,其中一束直接穿透分光镜射向双光路分光模块的接口一,另一束经过分光镜反射射向第一反射镜,再由第一反射镜反射到双光路分光模块3的接口二。第一高速相机4在双光路分光模块3接口一处成水平方向布置,主要用于接收标志图案9在X方向的图像特征,第二高速相机5在双光路分光模块3接口二处成纵向方向布置,主要用于接收标志图案9在Y方向的图像特征。
所述的标志板8固定在下方的微位移定位平台10上,标志板8材质为苏打玻璃,经过抛光、清洗后,在上表面的中心位置采用半导体掩模版图形制作工艺加工制作标志图案,依次进行镀膜、涂胶、光刻、显影和腐蚀,制得标志图案9。
在一种可能的实现方式中,所述的标志图案9形状是正方型块,颜色为白色,边缘清晰可见,达到与下方标志板形成区分的目的。
更进一步的,标志图案9还可以是带有编码信息的二维图案,在一种可能的实现方式中,编码信息可以是曼彻斯特码,可以是伪随机序列二维编码图,也可以是不同周期条纹的交织。通过使用带有编码信息的标志图案,配合相应的算法,可以实现跨尺度的视觉测量,使得视觉测量系统的测量范围不受测量精度的限制,同时允许测量在亚像素级别进行,大大提高测量过程的精度。
实施例2
如图3所示,本实施例提供一种高速高精度微位移视觉测量方法,主要包括以下步骤:
第一步,调节精密定位滑台2使相机对标志图案9的成像清晰;
第二步,从第一工业相机4和第二工业相机5获取标志图案9在初始位置X、Y两个正交方向上的图像信号并传输到计算机;
第三步,计算机获取初始图像信号后,通过图像处理算法对图像进行预处理操作提取初始模板;具体为:将第一工业相机4和第二工业相机5捕获的标志图案9在初始位置X、Y两个正交方向上的初始图像转化为灰度图像,从处理过的灰度图像中提取的一块矩形区域得到的特征模板。
第四步,在微位移定位平台10进行精密定位过程中,第一工业相机4和第二工业相机5获取微位移运动平台上标志图案在当前位置X、Y两个正交方向上的图像信号并传输到计算机;
具体为:所述的第一工业相机4捕捉标志板上所述标志图案9在X方向的图像信号,所述的第二工业相机5捕捉标志板上所述标志图案9在Y方向的图像信号,所述标志图案9在X方向和在Y方向的图像信号经内部处理后显示在计算机上。
更进一步的,由于工业相机大幅度减少和安装位置成正交方向上的像素显示,只负责捕获X、Y其中一个方向上的图像信号,每帧图像所携带的特征信息大量减少,使得单位时间内的采样频率大幅度提高,可以很容易获得数kHz的采样频率;
第五步,对于第一工业相机4所采集的X方向的图像特征,利用基于区域灰度特征的模板匹配算法,对标志图案在X方向的运动进行测量追踪;具体为:获取在测量初始t0时刻第一工业相机所捕捉到的标志图案9在初始位置X方向的初始图像Ix0,进行图像处理转化为灰度图像,从初始图像Ix0中提取一块矩形区域得到模板特征Tx0,在精密定位过程中,获取在t时刻第一工业相机4所捕获的微位移运动平台5上标志图案9在当前位置X方向上的图像Ixt,利用初始模板Tx0和t时刻图像Ixt构造测量目标在X方向移动距离的目标函数:
Figure GDA0004137405160000091
其中F(qxt)表示测量目标在X方向移动距离qxt的目标函数,z表示特征模板Tx0中像素点的坐标,S表示特征模板Tx0中所有像素点的坐标集合,Tx0(z)表示模板Tx0中坐标为z的灰度值,
Figure GDA0004137405160000092
表示相似度评价函数,W(z;qxt)表示模板Tx0中坐标z经过映射变换Hx后的图像坐标。
第六步,对于第二工业相机5所采集的Y方向的图像特征,利用基于区域灰度特征的模板匹配算法,对标志图案在Y方向的运动进行测量追踪;对于第二工业相机所采集的Y方向的图像特征,利用基于区域灰度特征的模板匹配算法,对标志图案在Y方向的运动进行测量追踪。具体为:获取在测量初始t0时刻第二工业相机所捕捉到的标志板在初始位置Y方向的初始图像Iy0,进行图像处理转化为灰度图像,从初始图像Iy0中提取一块矩形区域得到模板特征Ty0,在精密定位过程中,获取在t时刻第二工业相机5所捕获的微位移运动平台5上标志图案9在当前位置Y方向上的图像Iyt,利用初始模板Ty0和t时刻图像Iyt构造测量目标在X方向移动距离的目标函数:
Figure GDA0004137405160000101
其中F(qyt)表示测量目标在Y方向移动距离qyt的目标函数,k表示特征模板Ty0中像素点的坐标,E表示特征模板Ty0中所有像素点的坐标集合,Ty0(k)表示模板Ty0中坐标为k的灰度值,
Figure GDA0004137405160000104
表示相似度评价函数,W(k;qyt)表示模板Ty0中坐标k经过映射变换Hy后的图像坐标。
设在上述过程中第一工业相机4和第二工业相机5获取标志图案9在初始位置X、Y两个正交方向上的图像信号分别为Ix0和Iy0,在精密定位过程中,在t时刻第一工业相机4和第二工业相机5获取微位移运动平台上标志图案在当前位置X、Y两个正交方向上的图像信号为Ixt和Iyt
Ix0和Ixt存在映射变换Hx
Figure GDA0004137405160000102
Iy0和Iyt存在映射变换Hy
Figure GDA0004137405160000103
其中qxt表示微位移定位平台在精密定位过程中在X方向的精密定位距离,以参数的形式表示在映射变换Hx中,qyt表示微位移定位平台在精密定位过程中在Y方向的精密定位距离,以参数的形式表示在映射变换Hy中。
对初始位置时获取的图像Ix0和Iy0进行预处理操作,提取矩形区域得到模板特征Tx0和Ty0,设模板Tx0所有像素点的坐标集合为S,Ty0所有像素点的坐标集合为E。
对于Tx0中坐标为z的像素点,经过映射变换Hx后,新的坐标可表示为:
Figure GDA0004137405160000111
对于Ty0中坐标为k的像素点,经过映射变换Hy后,新的坐标可表示为:
Figure GDA0004137405160000112
W(z;qxt)表示模板Tx0中坐标z经过映射变换Hx后的图像坐标;W(k;qyt)表示模板Ty0中坐标k经过映射变换Hy后的图像坐标。
在任意t时刻所采集的图像Ixt和Iyt上,经过映射变换的模板可表示为Ixt*W(z;qxt)和Iyt*W(k;qyt)。
如不考虑微位移定位平台在定位过程中环境中的光照变化,则根据采用误差平方和算法(SSD)的基于灰度值的模板匹配算法可得:
Figure GDA0004137405160000113
Figure GDA0004137405160000114
当使用逆向合成法对上式进行求解时,上式可改写为:
Figure GDA0004137405160000115
Figure GDA0004137405160000116
其中F(qxt)和F(qyt)表示测量目标在X方向和在Y方向移动距离qxt和qyt的目标函数,Tx0和Ty0表示在测量初始时刻从第一工业相机4和第二工业相机5捕获的初始图像中提取的一块矩形区域得到的特征模板,z和k表示特征模板Tx0和Ty0中像素点的坐标,S和E表示特征模板Tx0和Ty0中所有像素点的坐标集合,
Figure GDA0004137405160000117
表示相似度评价函数,Ixt表示精密定位过程中t时刻第一工业相机4所捕捉到的标志板在当前位置X方向的图像信号,Iyt表示精密定位过程中t时刻第二工业相机5所捕捉到的标志板在当前位置Y方向的图像信号,W(z;qxt)表示模板Tx0中坐标z经过映射变换Hx后的图像坐标;W(k;qyt)表示模板Ty0中坐标k经过映射变换Hy后的图像坐标,Tx0(z)表示模板Tx0中坐标为z的灰度值,Ty0(k)表示模板Ty0中坐标为k的灰度值,Δqxt和Δqyt表示qxt和qyt的增量向量:
qxt=qxt+Δqxt
qyt=qyt+Δqyt
对上式在Δqxt和Δqyt为0处做一阶泰勒展开得:
Figure GDA0004137405160000121
Figure GDA0004137405160000122
其中
Figure GDA0004137405160000123
和/>
Figure GDA0004137405160000124
表示标志图案在X方向和Y方向的特征模板Tx0和Ty0的模板梯度,
Figure GDA0004137405160000125
和/>
Figure GDA0004137405160000126
为关于W(z;qxt)和W(k;qyt)的雅可比矩阵。
为求得使方程F(qxt)和方程F(qxt)满足最小条件的Δqxt和Δqyt,分别对两个方程求关于Δqxt和Δqyt的一阶偏导数得:
Figure GDA0004137405160000127
Figure GDA0004137405160000128
其中
Figure GDA0004137405160000129
和/>
Figure GDA00041374051600001210
表示标志图案在X方向和Y方向的特征模板Tx0和Ty0的模板梯度,Tx0(z)表示模板Tx0中坐标为z的灰度值,Ty0(k)表示模板Ty0中坐标为k的灰度值,Hx和Hy表示模板Tx0和Ty0的海森矩阵:
Figure GDA00041374051600001211
Figure GDA0004137405160000131
给出qxt和qyt的初始的参数,带入上式求出更新的增量Δqxt和Δqyt,再用Δqxt和Δqyt更新qxt和qyt,迭代计算即可得出微位移定位平台在精密定位过程中在X和Y方向移动的距离qxt和qyt
实施例3
与实施例2基本相同,所不同的是:本实施例提供一种使实施例2迭代计算结果更精确的亚像素插值技术。
在计算过程中由于qxt和qyt在可能并非整数,W(z;qxt)和W(k;qyt)将不再保持整数,为了提高精度,可使用双线性亚像素插值方法。设(x,y)为图像上任意一点的坐标,则采用双线性亚像素插值方法后坐标处的灰度值可表示为:
Figure GDA0004137405160000132
其中(x,y)为待插值点的坐标,I(x,y)为(x,y)坐标进行亚像素插值后的灰度值;(xi,yj)分别表示围绕(x,y)的二领域整像素点坐标,I(xi,yj)为(xi,yj)坐标处的灰度值。
在获取的qxt和qyt非整数时,可以先利用实施例3提供的亚像素插值技术计算此处的坐标灰度值,再继续进行基于灰度值的模板匹配过程,如此便可获得更高精度的视觉测量结果。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种基于双光路的微位移视觉测量装置的视觉测量方法,其特征在于:所述装置包括成像系统支撑装置(1)、定位滑台(2)、双光路分光模块(3)、第一工业相机(4)、第二工业相机(5)、显微镜头(6)、相机光源(7)、标志板(8)、定位平台(10);
所述成像系统支撑装置(1)位于定位平台(10)上方,定位滑台(2)设置在成像系统支撑装置(1)前方,双光路分光模块(3)连接在定位滑台(2)上,第一工业相机(4)、第二工业相机(5)、显微镜头(6)、相机光源(7)分别通过第一接口、第二接口、第三接口、第四接口与双光路分光模块(3)的不同接口连接,标志板(8)上设有标志图案(9),标志板(8)置于定位平台(10)上方;
所述视觉测量方法,包括以下步骤:
S1、调节定位滑台(2)使显微镜头(6)下方的标志图案(9)成像清晰;
S2、第一工业相机(4)和第二工业相机(5)获取标志图案(9)在初始位置X、Y两个正交方向上的图像信号并传输到计算机;
S3、计算机获取初始图像信号后,通过图像处理算法对图像进行预处理操作提取初始模板;
S4、定位平台(10)进行精密定位,第一工业相机(4)和第二工业相机(5)获取定位平台(10)上标志图案(9)在当前位置X、Y两个正交方向上的图像信号并传输到计算机;
S5、对于第一工业相机(4)所采集的X方向的图像特征,利用基于区域灰度特征的模板匹配算法,对标志图案在X方向的运动进行测量追踪;
S6、对于第二工业相机(5)所采集的Y方向的图像特征,利用基于区域灰度特征的模板匹配算法,对标志图案在Y方向的运动进行测量追踪。
2.根据权利要求1所述的一种基于双光路的微位移视觉测量装置的视觉测量方法,其特征在于:所述的双光路分光模块(3)内部含有分光镜,第一反射镜、第二反射镜,入射光经过显微镜头(6)进入双光路分光模块(3)后被分光镜分为两束,其中一束直接穿透分光镜射向双光路分光模块(3)的第一接口,另一束经过分光镜反射射向第一反射镜,再由第一反射镜反射到双光路分光模块(3)的第二接口。
3.根据权利要求1所述的一种基于双光路的微位移视觉测量装置的视觉测量方法,其特征在于:所述的相机光源(7)为同轴光源,发出的光进入双光路分光模块(3)后通过第二反射镜的反射经分光镜射到标志图案(9)上。
4.根据权利要求1所述的一种基于双光路的微位移视觉测量装置的视觉测量方法,其特征在于:所述第一工业相机(4)在双光路分光模块(3)的第一接口处成水平方向布置,用于接收标志图案(9)在X方向的图像特征;所述第二工业相机(5)在双光路分光模块(3)的第二接口处成纵向方向布置,用于接收标志图案(9)在Y方向的图像特征。
5.根据权利要求1所述的一种基于双光路的微位移视觉测量装置的视觉测量方法,其特征在于:所述标志图案(9)是正方型白色块,或者是携带有编码信息的二维图案。
6.根据权利要求1所述的一种基于双光路的微位移视觉测量装置的视觉测量方法,其特征在于:所述成像系统支撑装置(1)为龙门架结构。
7.根据权利要求1所述的视觉测量方法,其特征在于:采用基于区域灰度特征的模板匹配算法,将视觉测量过程转化为多变量非线性最优化问题,测量目标在X方向和在Y方向移动距离的目标函数分别为:
Figure FDA0004137405150000021
Figure FDA0004137405150000022
其中F(qxt)和F(qyt)表示测量目标在X方向和在Y方向移动距离qxt和qyt的目标函数,Tx0和Ty0表示在测量初始时刻从第一工业相机(4)和第二工业相机(5)捕获的初始图像中提取的一块矩形区域得到的特征模板,z和k表示特征模板Tx0和Ty0中像素点的坐标,S和E表示特征模板Tx0和Ty0中所有像素点的坐标集合,
Figure FDA0004137405150000023
表示相似度评价函数,Ixt表示精密定位过程中t时刻第一工业相机(4)所捕捉到的标志板在当前位置X方向的图像信号,Iyt表示精密定位过程中t时刻第二工业相机(5)所捕捉到的标志板在当前位置Y方向的图像信号,W(z;qxt)表示模板Tx0中坐标z经过映射变换Hx后的图像坐标;W(k;qyt)表示模板Ty0中坐标k经过映射变换Hy后的图像坐标,Tx0(z)表示模板Tx0中坐标为z的灰度值,Ty0(k)表示模板Ty0中坐标为k的灰度值。
8.根据权利要求7所述的视觉测量方法,其特征在于:相似度评价函数为平均绝对差函数(MAD)、误差平方和函数(SSD)或归一化积相关函数(NCC)。
9.根据权利要求8所述的视觉测量方法,其特征在于:对测量目标在X和Y方向的精密定位距离qxt和qyt的计算过程中,双线性亚像素插值公式为:
Figure FDA0004137405150000031
其中(x,y)为待插值点的坐标,I(x,y)为(x,y)坐标进行亚像素插值后的灰度值;(xi,yj)分别表示围绕(x,y)的二领域整像素点坐标,I(xi,yj)为(xi,yj)坐标处的灰度值。
CN202210243471.XA 2022-03-11 2022-03-11 一种基于双光路的微位移视觉测量装置与方法 Active CN114719747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210243471.XA CN114719747B (zh) 2022-03-11 2022-03-11 一种基于双光路的微位移视觉测量装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210243471.XA CN114719747B (zh) 2022-03-11 2022-03-11 一种基于双光路的微位移视觉测量装置与方法

Publications (2)

Publication Number Publication Date
CN114719747A CN114719747A (zh) 2022-07-08
CN114719747B true CN114719747B (zh) 2023-06-16

Family

ID=82237957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210243471.XA Active CN114719747B (zh) 2022-03-11 2022-03-11 一种基于双光路的微位移视觉测量装置与方法

Country Status (1)

Country Link
CN (1) CN114719747B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2884041B2 (ja) * 1994-11-01 1999-04-19 工業技術院長 非接触式相対変位測定法及び測定装置
JP5879621B2 (ja) * 2010-06-02 2016-03-08 国立大学法人 熊本大学 微小材料ひずみ計測装置及びその方法
CN109029289A (zh) * 2018-08-14 2018-12-18 东北大学 一种离轴光路三维显微形貌测量系统
CN111337347B (zh) * 2020-03-13 2021-07-20 浙江大学 植物微观力学检测装置及其检测方法

Also Published As

Publication number Publication date
CN114719747A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US10690492B2 (en) Structural light parameter calibration device and method based on front-coating plane mirror
CN107014312B (zh) 一种振镜式线激光扫描三维测量系统的整体标定方法
CN103575227B (zh) 一种基于数字散斑的视觉引伸计实现方法
CN101303533B (zh) 用于光刻设备的对准系统、对准方法及增强型对准标记
US8718403B2 (en) Positional measurement of a feature within an image
CN110966932B (zh) 一种基于已知标记点的结构光三维扫描方法
CN112815843A (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
CN106709955A (zh) 基于双目立体视觉的空间坐标系标定系统和方法
JP2019139030A (ja) 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置
CN115752250A (zh) 一种融合计算机视觉及加速度的桥梁高精度位移监测方法
CN116105628A (zh) 一种基于投影成像式的高精度三维形貌与变形测量方法
Huang et al. Measurement method and recent progress of vision-based deflection measurement of bridges: A technical review
CN114719747B (zh) 一种基于双光路的微位移视觉测量装置与方法
CN110926340A (zh) 一种新型光栅尺位移测量装置
Schwieger et al. Image-based target detection and tracking using image-assisted robotic total stations
US11178333B2 (en) Vibration measurement system, vibration measurement apparatus, vibration measurement method, and computer-readable recording medium
CN112906095B (zh) 基于激光条纹中心追踪的桥梁模态识别方法及其系统
CN115790449B (zh) 一种狭长空间的三维形貌测量方法
CN109373901A (zh) 位于平面上的孔的中心位置的计算方法
CN112686960B (zh) 一种基于光线追迹的相机入瞳中心及视线方向的标定方法
CN115790366A (zh) 一种大型阵面拼接机构视觉定位系统和方法
CN115493511A (zh) 基于超表面全息投影的三维成像方法
CN114018167A (zh) 一种基于单目三维视觉的桥梁挠度测量方法
Zhao et al. Sub-microscale precision repeatability position measurement using integrated polar microstructure and feature extraction method
CN114170321A (zh) 一种基于测距的相机自标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant