CN110360973A - 一种面向微型工件测量的自动引导方法 - Google Patents

一种面向微型工件测量的自动引导方法 Download PDF

Info

Publication number
CN110360973A
CN110360973A CN201910799798.3A CN201910799798A CN110360973A CN 110360973 A CN110360973 A CN 110360973A CN 201910799798 A CN201910799798 A CN 201910799798A CN 110360973 A CN110360973 A CN 110360973A
Authority
CN
China
Prior art keywords
workpiece
image
measurement
probe
left view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910799798.3A
Other languages
English (en)
Other versions
CN110360973B (zh
Inventor
李瑞君
栾赫
郑杰
程真英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Hefei Polytechnic University
Original Assignee
Hefei Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Polytechnic University filed Critical Hefei Polytechnic University
Priority to CN201910799798.3A priority Critical patent/CN110360973B/zh
Publication of CN110360973A publication Critical patent/CN110360973A/zh
Application granted granted Critical
Publication of CN110360973B publication Critical patent/CN110360973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/047Accessories, e.g. for positioning, for tool-setting, for measuring probes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种面向微型工件测量的自动引导方法,利用固定在三坐标测量机基座上的两个相机针对待测工件和探针球头进行拍摄,获得左视图像和后视图像;搜索识别两相机所拍摄图像中的待测工件,将待测工件分为孔类工件、非孔类工件,计算与判断待测工件与探针球头之间的位置关系,引导探针球头沿测量机X轴、Y轴和Z轴运动,使探针球头向待测工件移动;先用通过初始引导将探针球头引导至测量位置附近,在对相机镜头变焦后再通过精确引导将探针球头引导至测量位置。

Description

一种面向微型工件测量的自动引导方法
技术领域
本发明涉及测量、图像领域,具体涉及一种适用于用三坐标测量机测量的情况下,利用接触式探头测量微型孔类工件、非孔类工件场合的全自动引导方法。
背景技术
现有技术中,利用结构光、激光干涉及激光三角法等方法测量微型工件,但是,对于高深宽比的孔类工件采用上述方法难以实现测量;上述方法在用于测量非孔类工件时,其测量精度较之接触式测量要低;同时,结构光和激光干涉的测量方法成本较高。
利用接触式测量探头对微型孔类工件进行测量,不仅测量精度满足要求,而且还可测量不同深度的孔类工件的相关参数,接触式测量在非孔类工件测量的精度也可满足要求。但在利用接触式探头进行测量时,针对孔类工件的测量需要将探针球头置入工件孔类内;针对非孔类工件的测量需要将探针球头引层至工件上表面的中心点;实际操作中,由于微型工件的尺寸小,其仅仅比探针球头直径稍大,人工方式难以完成准确引导。
虽然工业上已有利用相机对微型工件及探针进行拍摄,即视觉引导,根据拍摄的影像引导探针球头,但视觉引导方式在以下方面仍然存在问题:
1、最初的视觉引导是由人工利用相机拍摄图像,根据图像引导探针球头到达测量位置;后续通过改进已经能够实现操作人员在图像上手动选择待测工件与探针球头后,使探针球头自动移动至测量位置,但其改进前后的方法都存在效率低的问题;
2、已有的视觉引导方法在每次使用前需要对相机进行标定,标定过程消耗的时间远超引导过程消耗的时间。
3、已有方法中,在视觉系统完成标定后,焦距和相机位置均不可改变,但由于微型工件体积极小,针对未经放大的工件原图,很难完成高精度引导。
发明内容
本发明是为避免上述现有技术的不足,提供一种面向微型工件测量的自动引导方法;其适用于接触式探头测量微型工件,实现快速高精度的全自动引导,以期在利用接触式探头测量孔类工件及非孔类工件时能够快速、准确地到达待测工件的测量位置开始自动测量。
本发明为解决技术问题采用如下技术方案:
本发明面向微型工件测量的自动引导方法,其特征是:采用三坐标测量机,在所述测量机中,通过视觉引导,将探针球头引导至测量位置进行测量;所述测量位置是指:将工件类别区分为孔类工件和非孔类工件,针对孔类工件的测量,将探针球头引导至待测工件孔内中心点的阈值范围内,针对非孔类工件的测量,将探针球头引导至待测工件上表面中心点的阈值范围内;在所述测量机的基座上设置视觉系统,包括:固定设置两只相机,所述两只相机型号相同、前端均安装有可自动调焦镜头,两只相机分别是位于基座左侧的左侧相机和位于基座后侧的后侧相机;由左侧相机获得左视图像,由后侧相机获得后视图像;图像坐标系是以图像左下角为原点;
左视图像u轴与测量机X轴方向一致,左视图像v轴与测量机Z轴方向一致;
后视图像u′轴与测量机Y轴方向一致,后视图像v′轴与测量机Z轴方向一致;
由测量机驱动探针球头向测量位置移动实现自动引导;所述自动引导是指,利用已知的数据样本模型自动识别待测工件与探针球头,并针对不同的工件类别采用相应的引导策略;
所述自动引导按如下步骤进行:
步骤1、设置中心点阈值为初始值R1,按如下步骤进行初始引导:
1.1、按如下步骤实现探针球头在沿测量机X轴方向上的初始引导;
1.1.1、由左侧相机针对目标进行拍摄获得当前左视图像,在当前左视图像中采用滑动窗口扫描图像的方式进行目标识别,所述目标是指探针球头和待测工件;
依次记录待测工件在沿u轴正方向上的两侧边u轴坐标值uoi1和uoi2,并依次记录探针球头在沿u轴正方向上的两侧边u轴坐标值uti1和uti2;将待测工件与探针球头之间的距离阈值记为R0
1.1.2、判断探针球头与待测工件在沿测量机X轴方向上的相对位置
当uoi2<uti1,且uti1-uoi2>R0,由测量机驱动探针球头沿X轴负方向移动一步后执行步骤1.1.3,否则执行1.1.4;
当uoi1>uti2,且uoi1-uti2>R0,由测量机驱动探针球头沿X轴正方向移动一步后执行步骤1.1.3,否则执行1.1.4;
1.1.3、由左侧相机针对目标进行拍摄获得当前左视图像,作为下一张左视图像,在所述下一张左视图像中采用滑动窗口追踪识别目标,依次记录通过追踪识别所获得的待测工件沿u轴正方向上的两侧边u轴坐标值uoi1和uoi2,并依次记录探针球头在沿u轴正方向上的两侧边u轴坐标值uti1和uti2;返回执行步骤1.1.2;
1.1.4、分别对识别出的目标使用Canny边缘检测算法提取目标边缘轮廓信息,由所述边缘轮廓信息计算获得在图像坐标系中待测工件的中心点坐标(uo1,vo1),以及探针球头的中心点坐标(ut1,vt1);
1.1.5、依据待测工件中心点坐标(uo1,vo1)和探针球头中心点坐标(ut1,vt1)进行如下判断:
若|uo1-ut1|≤R1,判断为探针球头的中心点在沿测量机X轴方向上达到测量位置,进入步骤1.2;
若|uo1-ut1|>R1,且ut1>uo1,则测量机驱动探针球头沿X轴的负方向移动一步后进入步骤1.1.6;
若|uo1-ut1|>R1,且ut1<uo1,由测量机驱动探针球头沿X轴的正方向移动一步后进入步骤1.1.6;
1.1.6、由左侧相机针对目标进行拍摄获得当前左视图像,作为再一张左视图像,在所述再一张左视图像中追踪识别目标后执行步骤1.1.4;
1.2、按照与步骤1.1相同的方式,利用视觉系统引导探针球头沿测量机Y轴方向运动,实现探针球头在沿测量机Y轴方向上的初始引导;
1.3、按如下步骤实现探针球头在沿测量机Z轴方向上的初始引导
1.3.1、利用左侧相机和后侧相机同时针对目标进行拍摄,分别获得当前左视图像和当前后视图像,在当前左视图像和当前后视图像中分别追踪识别目标,根据已完成训练的数据样本模型,将工件分为孔类工件与非孔类工件;
1.3.2、对识别出的目标分别使用Canny边缘检测算法提取目标边缘信息,由所述目标边缘信息分别计算获得在图像坐标系中的如下各中心点坐标:
左视图像中待测工件中心点坐标(uo3,vo3);
左视图像中探针球头中心点坐标(ut3,vt3);
后视图像中待测工件中心点坐标(u′o4,v′o4);
后视图像中探针球头中心点坐标(u′t4,v′t4);
1.3.3、依据步骤1.3.2中所获得的各中心点坐标进行如下判断:
当经识别的待测工件为孔类工件:
若|vt3-vo3|≤R1,判断为探针球头已引导至测量位置,进入步骤2;
若|vt3-vo3|>R1,且vo3<vt3或vo4<vt4,由测量机驱动探针球头沿测量机Z轴负方向移动一步后进入步骤1.3.4;
当识别到的待测工件为非孔类工件时:
若|vt3-vo3|≤rt+R1,判断为探针球头已引导至测量位置,进入步骤2;其中,rt为相应的图像中探针球头的半径;
若|vt3-vo3|>rt+R1,且vo3<vt3或vo4<vt4,由测量机驱动探针球头沿测量机Z轴负方向移动一步后执行步骤1.3.4;
1.3.4、利用左侧相机和后侧相机同时针对目标进行拍摄,分别获得当前左视图像和当前后视图像,在当前左视图像和当前后视图像中分别追踪识别目标后执行步骤1.3.2;
步骤2、调节镜头焦距,使目标在视场中得以放大
2.1、由左侧相机和后侧相机分别针对目标进行拍摄获得两幅图像,分别是当前左视图像和当前后视图像,在两幅图像中追踪识别目标后使用Canny边缘检测算法提取目标边缘轮廓,采用矩形框针对图像中探针球头和待测工件的边缘轮廓进行标记,使探针球头和待测工件的边缘轮廓包含在同一矩形框中;
2.2、根据矩形框的坐标值分别获得:
左视图像中矩形框左下角坐标(umin,vmin),左视图像中矩形框右上角坐标(umax,vmax)
后视图像中矩形框左下角坐标(u′min,v′min),后视图像中矩形框右上角坐标(u′max,v′max);
令T1=2048-umax,T2=1536-vmax,T3=2048-u′max,T4=1536-v′max
其中:
T1为左视图像中矩形框右上角到左视图像u轴边界的垂直距离;
T2为左视图像中矩形框右上角到左视图像v轴边界的垂直距离;
T3为后视图像中矩形框右上角到后视图像u′轴边界的垂直距离;
T4为后视图像中矩形框右上角到后视图像v′轴边界的垂直距离;
取umin、vmin、u′min、v′min、T1、T2、T3和T4中的最小值为Δl;
2.3、根据计算获得镜头所需增加的焦距ΔF,并按ΔF控制镜头调焦,实现视觉系统变焦;其中,D为待测工件到镜头的距离;L为待测工件到探针球头的距离;c为0~1之间的系数,系数c用于调节目标大小,确保目标被放大后在视场范围内为完整;
步骤3、利用变焦后的视觉系统引导探针球头沿测量机的X轴、Y轴、Z轴实现精确引导,所述精确引导指:设置中心点阈值为终值R2,R2=R1×0.3,依据终值R2并按照与步骤1相同的方式对探针球头进行终值引导,使探针球头准确引导至测量位置。
本发明面向微型工件测量的自动引导方法的特点也在于:在所述步骤1.1.1、步骤1.3.1、步骤2.1和步骤2.4中,针对左视图像和后视图像进行目标识别以及待测工件分类的方法是:
收集各类探针球头和待测工件的图像集,使用HOG算法提取目标图像特征值,将不同类别的图像特征值经核函数映射到高维空间后,采用LatentSVM算法进行训练,得到多个二分类方程式与数据样本模型;所述数据样本模型用于DPM算法对图像进行目标识别,并用于对待测工件进行分类;针对所述待测工件分类的方法是:将识别到的待测工件图像使用HOG算法提取图像特征值后经过核函数将其映射到高维空间,依次代入二分类方程,直至待测工件完成分类。
本发明面向微型工件测量的自动引导方法的特点也在于:在步骤1.1.5中,针对在所述下一张图像中追踪识别探针球头的方法是:以R(u,v)表示探针球头在不同图像中的相似度值,并有:
其中:
M(u′,v′)为探针球头在被识别图像中的各像素点的像素值;
A(u+u′,v+v′)是由相机拍摄所获得的图像中的每个像素点的像素值;
s为缩放因子;a和b分别为左侧相机和右侧相机的分辨率;
将相似度值R(u,v)进行归一化处理,归一化处理后的相似度值越小则相似度越高,在0~1之间给出设定的追踪识别阈值实现针对探针球头的追踪识别。
与已有技术相比,本发明有益效果体现在:
1、本发明针对三坐标测量机利用接触式探头测量微型工件的应用场合,自动引导探头到达测量位置,在其自动引导全过程中全面实现自动化,并提升引导精度,极大提高了微型工件测量的实用性和测量效率;
2、本发明针对微型工件测量时,将探针球头引导至测量位置时无需相机标定,极大提升引导效率。
3、本发明在引导过程中通过使用LatentSVM算法与DPM算法,自动识别图像中待测工件与探针球头,并将待测工件分类,极大提升引导过程的自动化程度。
4、本发明在精确引导前,通过自动变焦镜头增加焦距,使目标放大,有效提升精确引导时的准确性;
5、本发明针对连续图像的目标识别提出改进,使用追踪的方法识别图像中的探针球头,该方法可有效降低探针球头识别过程中的运算量,提升识别效率。
附图说明
图1为本发明方法中的测量系统示意图;
图2为本发明中目标两侧边坐标示意图;
图3为本发明方法中步骤2的流程图。
具体实施方式
参见图1,本实施例中面向微型工件测量的自动引导方法是采用三坐标测量机,在测量机中,通过视觉引导,将探针球头3引导至测量位置进行测量;测量位置是指:将工件类别区分为孔类工件和非孔类工件,针对孔类工件的测量,将探针球头3引导至待测工件孔内中心点的阈值范围内,针对非孔类工件的测量,将探针球头3引导至待测工件上表面中心点的阈值范围内。
如图1所示,在测量机的基座上设置视觉系统,包括:固定设置两只相机,两只相机型号相同、前端均安装有可自动调焦镜头,两只相机分别是位于基座左侧的左侧相机2和位于基座后侧的后侧相机1;由左侧相机1获得左视图像,由后侧相机2获得后视图像。
图像坐标系是以图像左下角为原点;且:
左视图像u轴与测量机X轴方向一致,左视图像v轴与测量机Z轴方向一致;
后视图像u′轴与测量机Y轴方向一致,后视图像v′轴与测量机Z轴方向一致;
由测量机驱动探针球头3向测量位置移动实现自动引导;自动引导是指,利用已知的数据样本模型自动识别待测工件与探针球头,并针对不同的工件类别采用相应的引导策略。
本实施例中的自动引导按如下步骤进行:
步骤1、设置中心点阈值为初始值R1,按如下步骤进行初始引导。
1.1、按如下步骤实现探针球头3在沿测量机X轴方向上的初始引导。
1.1.1、由左侧相机1针对目标进行拍摄获得当前左视图像,在当前左视图像中采用滑动窗口扫描图像的方式进行目标识别,目标是指探针球头3和待测工件4;依次记录如图2所示的待测工件的影像A在沿u轴正方向上的两侧边u轴坐标值uoi1和uoi2,并依次记录如图2所示的探针球头的影像B在沿u轴正方向上的两侧边u轴坐标值uti1和uti2;将待测工件与探针球头之间的距离阈值记为R0
1.1.2、判断探针球头与待测工件在沿测量机X轴方向上的相对位置。
当uoi2<uti1,且uti1-uoi2>R0,由测量机驱动探针球头3沿X轴负方向移动一步后执行步骤1.1.3,否则执行1.1.4;
当uoi1>uti2,且uoi1-uti2>R0,由测量机驱动探针球头3沿X轴正方向移动一步后执行步骤1.1.3,否则执行1.1.4。
1.1.3、再次由左侧相机1针对目标进行拍摄获得当前左视图像,作为下一张左视图像,在下一张左视图像中采用滑动窗口追踪识别目标,同样依次记录如图2所示的通过追踪识别所获得的待测工件沿u轴正方向上的两侧边u轴坐标值uoi1和uoi2,以及依次记录如图2所示的探针球头在沿u轴正方向上的两侧边u轴坐标值uti1和uti2;返回执行步骤1.1.2。
1.1.4、分别对识别出的目标使用Canny边缘检测算法提取目标边缘轮廓信息,由边缘轮廓信息计算获得在图像坐标系中待测工件4的中心点坐标(uo1,vo1),以及探针球头3的中心点坐标(ut1,vt1)。
1.1.5、依据待测工件4的中心点坐标(uo1,vo1)和探针球头3的中心点坐标(ut1,vt1)进行如下判断:
若|uo1-ut1|≤R1,判断为探针球头(3)的中心点在沿测量机X轴方向上达到测量位置,进入步骤1.2;
若|uo1-ut1|>R1,且ut1>uo1,则测量机驱动探针球头沿X轴的负方向移动一步后进入步骤1.1.6;
若|uo1-ut1|>R1,且ut1<uo1,由测量机驱动探针球头沿X轴的正方向移动一步后进入步骤1.1.6。
1.1.6、由左侧相机针对目标进行拍摄获得当前左视图像,作为再一张左视图像,在再一张左视图像中追踪识别目标后执行步骤1.1.4。
1.2、按照与步骤1.1相同的方式,利用视觉系统引导探针球头3沿测量机Y轴方向运动,实现探针球头3在沿测量机Y轴方向上的初始引导。
1.3、按如下步骤实现探针球头3在沿测量机Z轴方向上的初始引导:
1.3.1、利用左侧相机1和后侧相机2同时针对目标进行拍摄,分别获得当前左视图像和当前后视图像,在当前左视图像和当前后视图像中分别追踪识别目标,根据已完成训练的数据样本模型,将工件分为孔类工件与非孔类工件。
1.3.2、对识别出的目标分别使用Canny边缘检测算法提取目标边缘信息,由目标边缘信息分别计算获得在图像坐标系中的如下各中心点坐标:
左视图像中待测工件中心点坐标(uo3,vo3);左视图像中探针球头中心点坐标(ut3,vt3);
后视图像中待测工件中心点坐标(u′o4,v′o4);后视图像中探针球头中心点坐标(u′t4,v′t4)。
1.3.3、依据步骤1.3.2中所获得的各中心点坐标进行如下判断:
当经识别的待测工件为孔类工件:
若|vt3-vo3|≤R1,判断为探针球头已引导至测量位置,进入步骤2;
若|vt3-vo3|>R1,且vo3<vt3或vo4<vt4,由测量机驱动探针球头沿测量机Z轴负方向移动一步后进入步骤1.3.4。
当识别到的待测工件为非孔类工件时:
若|vt3-vo3|≤rt+R1,判断为探针球头已引导至测量位置,进入步骤2;其中,rt为相应的图像中探针球头的半径;
若|vt3-vo3|>rt+R1,且vo3<vt3或vo4<vt4,由测量机驱动探针球头沿测量机Z轴负方向移动一步后执行步骤1.3.4。
1.3.4、再次利用左侧相机1和后侧相机2同时针对目标进行拍摄,分别获得当前左视图像和当前后视图像,在当前左视图像和当前后视图像中分别追踪识别目标后执行步骤1.3.2。
步骤2、按图3所示的流程调节镜头焦距,使目标在视场中得以放大
2.1、由左侧相机和后侧相机分别针对目标进行拍摄获得两幅图像,分别是当前左视图像和当前后视图像,在两幅图像中追踪识别目标后使用Canny边缘检测算法提取目标边缘轮廓,采用矩形框针对图像中探针球头和待测工件的边缘轮廓进行标记,使探针球头和待测工件的边缘轮廓包含在同一矩形框中。
2.2、根据矩形框的坐标值分别获得:
左视图像中矩形框左下角坐标(umin,vmin),左视图像中矩形框右上角坐标(umax,vmax)
后视图像中矩形框左下角坐标(u′min,v′min),后视图像中矩形框右上角坐标(u′max,v′max);
令T1=2048-umax,T2=1536-vmax,T3=2048-u′max,T4=1536-v′max
其中:
T1为左视图像中矩形框右上角到左视图像u轴边界的垂直距离,此边界为图像坐标系沿u轴方向的最大值,该值为2048;
T2为左视图像中矩形框右上角到左视图像v轴边界的垂直距离,此边界为图像坐标系沿v轴方向的最大值,该值为1536;
T3为后视图像中矩形框右上角到后视图像u′轴边界的垂直距离,此边界为图像坐标系沿u′轴方向的最大值,该值为2048;
T4为后视图像中矩形框右上角到后视图像v′轴边界的垂直距离,此边界为图像坐标系沿v′轴方向的最大值,该值为1536。
取umin、vmin、u′min、v′min、T1、T2、T3和T4中的最小值为Δl;
2.3、根据计算获得镜头所需增加的焦距ΔF,并按ΔF控制镜头调焦,实现视觉系统变焦;其中,D为待测工件到镜头的距离;L为待测工件到探针球头的距离;c为0~1之间的系数,系数c用于调节目标大小,确保目标被放大后在视场范围内为完整。
步骤3、利用变焦后的视觉系统引导探针球头沿测量机的X轴、Y轴、Z轴实现精确引导,精确引导指:设置中心点阈值为终值R2,R2=R1×0.3,依据终值R2并按照与步骤1相同的方式对探针球头进行终值引导,使探针球头准确引导至测量位置。
本实施例中,在步骤1.1.1、步骤1.3.1、步骤2.1和步骤2.4中,针对左视图像和后视图像进行目标识别以及待测工件分类的方法是:收集各类探针球头和待测工件的图像集,使用HOG算法提取目标图像特征值,将不同类别的图像特征值经核函数映射到高维空间后,采用LatentSVM算法进行训练,得到多个二分类方程式与数据样本模型;数据样本模型用于DPM算法对图像进行目标识别,并用于对待测工件进行分类;针对待测工件分类的方法是:将识别到的待测工件图像使用HOG算法提取图像特征值后经过核函数将其映射到高维空间,依次代入二分类方程,直至待测工件完成分类。
具体实施中,在步骤1.1.5中,针对在下一张图像中追踪识别探针球头3的方法是:以R(u,v)表示探针球头3在不同图像中的相似度值,并有:
其中:
M(u′,v′)为探针球头3在被识别图像中的各像素点的像素值;A(u+u′,v+v′)是由相机拍摄所获得的图像中的每个像素点的像素值;s为缩放因子;a和b分别为左侧相机和右侧相机的分辨率;将相似度值R(u,v)进行归一化处理,归一化处理后的相似度值越小则相似度越高,在0~1之间给出设定的追踪识别阈值实现针对探针球头的追踪识别。
本发明方法适用于接触式探头测量微型工件,实现快速高精度的全自动引导,在利用接触式探头测量孔类工件及非孔类工件时能够快速、准确地到达待测工件的测量位置开始自动测量。

Claims (3)

1.一种面向微型工件测量的自动引导方法,其特征是:采用三坐标测量机,在所述测量机中,通过视觉引导,将探针球头(3)引导至测量位置进行测量;所述测量位置是指:将工件类别区分为孔类工件和非孔类工件,针对孔类工件的测量,将探针球头(3)引导至待测工件孔内中心点的阈值范围内,针对非孔类工件的测量,将探针球头(3)引导至待测工件上表面中心点的阈值范围内;在所述测量机的基座上设置视觉系统,包括:固定设置两只相机,所述两只相机型号相同、前端均安装有可自动调焦镜头,两只相机分别是位于基座左侧的左侧相机(2)和位于基座后侧的后侧相机(1);由左侧相机(1)获得左视图像,由后侧相机(2)获得后视图像;图像坐标系是以图像左下角为原点;
左视图像u轴与测量机X轴方向一致,左视图像v轴与测量机Z轴方向一致;
后视图像u′轴与测量机Y轴方向一致,后视图像v′轴与测量机Z轴方向一致;
由测量机驱动探针球头(3)向测量位置移动实现自动引导;所述自动引导是指,利用已知的数据样本模型自动识别待测工件与探针球头,并针对不同的工件类别采用相应的引导策略;
所述自动引导按如下步骤进行:
步骤1、设置中心点阈值为初始值R1,按如下步骤进行初始引导:
1.1、按如下步骤实现探针球头(3)在沿测量机X轴方向上的初始引导;
1.1.1、由左侧相机(1)针对目标进行拍摄获得当前左视图像,在当前左视图像中采用滑动窗口扫描图像的方式进行目标识别,所述目标是指探针球头(3)和待测工件(4);
依次记录待测工件在沿u轴正方向上的两侧边u轴坐标值uoi1和uoi2,并依次记录探针球头在沿u轴正方向上的两侧边u轴坐标值uti1和uti2;将待测工件与探针球头之间的距离阈值记为R0
1.1.2、判断探针球头与待测工件在沿测量机X轴方向上的相对位置
当uoi2<uti1,且uti1-uoi2>R0,由测量机驱动探针球头(3)沿X轴负方向移动一步后执行步骤1.1.3,否则执行1.1.4;
当uoi1>uti2,且uoi1-uti2>R0,由测量机驱动探针球头(3)沿X轴正方向移动一步后执行步骤1.1.3,否则执行1.1.4;
1.1.3、由左侧相机(1)针对目标进行拍摄获得当前左视图像,作为下一张左视图像,在所述下一张左视图像中采用滑动窗口追踪识别目标,依次记录通过追踪识别所获得的待测工件沿u轴正方向上的两侧边u轴坐标值uoi1和uoi2,并依次记录探针球头在沿u轴正方向上的两侧边u轴坐标值uti1和uti2;返回执行步骤1.1.2;
1.1.4、分别对识别出的目标使用Canny边缘检测算法提取目标边缘轮廓信息,由所述边缘轮廓信息计算获得在图像坐标系中待测工件(4)的中心点坐标(uo1,vo1),以及探针球头(3)的中心点坐标(ut1,vt1);
1.1.5、依据待测工件(4)的中心点坐标(uo1,vo1)和探针球头(3)的中心点坐标(ut1,vt1)进行如下判断:
若|uo1-ut1|≤R1,判断为探针球头(3)的中心点在沿测量机X轴方向上达到测量位置,进入步骤1.2;
若|uo1-ut1|>R1,且ut1>uo1,则测量机驱动探针球头沿X轴的负方向移动一步后进入步骤1.1.6;
若|uo1-ut1|>R1,且ut1<uo1,由测量机驱动探针球头沿X轴的正方向移动一步后进入步骤1.1.6;
1.1.6、由左侧相机针对目标进行拍摄获得当前左视图像,作为再一张左视图像,在所述再一张左视图像中追踪识别目标后执行步骤1.1.4;
1.2、按照与步骤1.1相同的方式,利用视觉系统引导探针球头(3)沿测量机Y轴方向运动,实现探针球头(3)在沿测量机Y轴方向上的初始引导;
1.3、按如下步骤实现探针球头(3)在沿测量机Z轴方向上的初始引导
1.3.1、利用左侧相机(1)和后侧相机(2)同时针对目标进行拍摄,分别获得当前左视图像和当前后视图像,在当前左视图像和当前后视图像中分别追踪识别目标,根据已完成训练的数据样本模型,将工件分为孔类工件与非孔类工件;
1.3.2、对识别出的目标分别使用Canny边缘检测算法提取目标边缘信息,由所述目标边缘信息分别计算获得在图像坐标系中的如下各中心点坐标:
左视图像中待测工件中心点坐标(uo3,vo3);
左视图像中探针球头中心点坐标(ut3,vt3);
后视图像中待测工件中心点坐标(u′o4,v′o4);
后视图像中探针球头中心点坐标(u′t4,v′t4);
1.3.3、依据步骤1.3.2中所获得的各中心点坐标进行如下判断:
当经识别的待测工件为孔类工件:
若|vt3-vo3|≤R1,判断为探针球头已引导至测量位置,进入步骤2;
若|vt3-vo3|>R1,且vo3<vt3或vo4<vt4,由测量机驱动探针球头沿测量机Z轴负方向移动一步后进入步骤1.3.4;
当识别到的待测工件为非孔类工件时:
若|vt3-vo3|≤rt+R1,判断为探针球头已引导至测量位置,进入步骤2;其中,rt为相应的图像中探针球头的半径;
若|vt3-vo3|>rt+R1,且vo3<vt3或vo4<vt4,由测量机驱动探针球头沿测量机Z轴负方向移动一步后执行步骤1.3.4;
1.3.4、利用左侧相机(1)和后侧相机(2)同时针对目标进行拍摄,分别获得当前左视图像和当前后视图像,在当前左视图像和当前后视图像中分别追踪识别目标后执行步骤1.3.2;
步骤2、调节镜头焦距,使目标在视场中得以放大
2.1、由左侧相机和后侧相机分别针对目标进行拍摄获得两幅图像,分别是当前左视图像和当前后视图像,在两幅图像中追踪识别目标后使用Canny边缘检测算法提取目标边缘轮廓,采用矩形框针对图像中探针球头和待测工件的边缘轮廓进行标记,使探针球头和待测工件的边缘轮廓包含在同一矩形框中;
2.2、根据矩形框的坐标值分别获得:
左视图像中矩形框左下角坐标(umin,vmin),左视图像中矩形框右上角坐标(umax,vmax)
后视图像中矩形框左下角坐标(u′min,v′min),后视图像中矩形框右上角坐标(u′max,v′max);
令T1=2048-umax,T2=1536-vmax,T3=2048-u′max,T4=1536-v′max
其中:
T1为左视图像中矩形框右上角到左视图像u轴边界的垂直距离;
T2为左视图像中矩形框右上角到左视图像v轴边界的垂直距离;
T3为后视图像中矩形框右上角到后视图像u′轴边界的垂直距离;
T4为后视图像中矩形框右上角到后视图像v′轴边界的垂直距离;
取umin、vmin、u′min、v′min、T1、T2、T3和T4中的最小值为Δl;
2.3、根据计算获得镜头所需增加的焦距ΔF,并按ΔF控制镜头调焦,实现视觉系统变焦;其中,D为待测工件到镜头的距离;L为待测工件到探针球头的距离;c为0~1之间的系数,系数c用于调节目标大小,确保目标被放大后在视场范围内为完整;
步骤3、利用变焦后的视觉系统引导探针球头沿测量机的X轴、Y轴、Z轴实现精确引导,所述精确引导指:设置中心点阈值为终值R2,R2=R1×0.3,依据终值R2并按照与步骤1相同的方式对探针球头进行终值引导,使探针球头准确引导至测量位置。
2.根据权利要求1所述的面向微型工件测量的自动引导方法,其特征是:在所述步骤1.1.1、步骤1.3.1、步骤2.1和步骤2.4中,针对左视图像和后视图像进行目标识别以及待测工件分类的方法是:
收集各类探针球头和待测工件的图像集,使用HOG算法提取目标图像特征值,将不同类别的图像特征值经核函数映射到高维空间后,采用LatentSVM算法进行训练,得到多个二分类方程式与数据样本模型;所述数据样本模型用于DPM算法对图像进行目标识别,并用于对待测工件进行分类;针对所述待测工件分类的方法是:将识别到的待测工件图像使用HOG算法提取图像特征值后经过核函数将其映射到高维空间,依次代入二分类方程,直至待测工件完成分类。
3.根据权利要求1所述面向微型工件测量的自动引导方法,其特征是:在步骤1.1.5中,针对在所述下一张图像中追踪识别探针球头(3)的方法是:以R(u,v)表示探针球头(3)在不同图像中的相似度值,并有:
其中:
M(u′,v′)为探针球头在被识别图像中的各像素点的像素值;
A(u+u′,v+v′)是由相机拍摄所获得的图像中的每个像素点的像素值;
s为缩放因子;a和b分别为左侧相机和右侧相机的分辨率;
将相似度值R(u,v)进行归一化处理,归一化处理后的相似度值越小则相似度越高,在0~1之间给出设定的追踪识别阈值实现针对探针球头的追踪识别。
CN201910799798.3A 2019-08-28 2019-08-28 一种面向微型工件测量的自动引导方法 Active CN110360973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910799798.3A CN110360973B (zh) 2019-08-28 2019-08-28 一种面向微型工件测量的自动引导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910799798.3A CN110360973B (zh) 2019-08-28 2019-08-28 一种面向微型工件测量的自动引导方法

Publications (2)

Publication Number Publication Date
CN110360973A true CN110360973A (zh) 2019-10-22
CN110360973B CN110360973B (zh) 2021-02-05

Family

ID=68225318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910799798.3A Active CN110360973B (zh) 2019-08-28 2019-08-28 一种面向微型工件测量的自动引导方法

Country Status (1)

Country Link
CN (1) CN110360973B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113237425A (zh) * 2021-05-12 2021-08-10 合肥工业大学 单摄像头辅助坐标测量机测量微小工件的自动引导方法
CN114858056A (zh) * 2022-05-19 2022-08-05 华中科技大学 一种基于深孔测量装置自动大量测量小深孔孔深的方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07318305A (ja) * 1994-05-26 1995-12-08 Mitsutoyo Corp タッチ信号プローブ
US20090207422A1 (en) * 2004-07-27 2009-08-20 Asml Netherlands B.V. Lithographic apparatus and method for calibrating the same
CN101702010A (zh) * 2009-10-20 2010-05-05 河北工业大学 基于视觉导引机器人的磁场测量装置
JP2012250443A (ja) * 2011-06-03 2012-12-20 Brother Industries Ltd 露光装置の製造方法
CN104268900A (zh) * 2014-09-26 2015-01-07 中安消技术有限公司 一种运动目标检测方法及装置
EP2998764A1 (de) * 2014-09-22 2016-03-23 Andreas Enders Verfahren zum abstecken von messpunkten
US20160286210A1 (en) * 2015-03-27 2016-09-29 Osterhout Group, Inc. See-through computer display systems
CN107747910A (zh) * 2017-09-19 2018-03-02 浙江大学 一种视觉引导的隧道标志点坐标激光测量系统及方法
CN207963818U (zh) * 2018-03-02 2018-10-12 昆山世纪三友测量技术有限公司 一种三坐标测量仪上测头的自动保护装置
CN108637435A (zh) * 2018-05-16 2018-10-12 华南理工大学 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
CN109101924A (zh) * 2018-08-14 2018-12-28 武汉大学 一种基于机器学习的路面交通标志识别方法
CN109238084A (zh) * 2018-08-28 2019-01-18 合肥工业大学 一种微型圆孔测量的自动导引方法
CN109459980A (zh) * 2018-10-25 2019-03-12 山东中衡光电科技有限公司 一种光学镜面加工共融机器人控制系统及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07318305A (ja) * 1994-05-26 1995-12-08 Mitsutoyo Corp タッチ信号プローブ
US20090207422A1 (en) * 2004-07-27 2009-08-20 Asml Netherlands B.V. Lithographic apparatus and method for calibrating the same
CN101702010A (zh) * 2009-10-20 2010-05-05 河北工业大学 基于视觉导引机器人的磁场测量装置
JP2012250443A (ja) * 2011-06-03 2012-12-20 Brother Industries Ltd 露光装置の製造方法
EP2998764A1 (de) * 2014-09-22 2016-03-23 Andreas Enders Verfahren zum abstecken von messpunkten
CN104268900A (zh) * 2014-09-26 2015-01-07 中安消技术有限公司 一种运动目标检测方法及装置
US20160286210A1 (en) * 2015-03-27 2016-09-29 Osterhout Group, Inc. See-through computer display systems
CN107747910A (zh) * 2017-09-19 2018-03-02 浙江大学 一种视觉引导的隧道标志点坐标激光测量系统及方法
CN207963818U (zh) * 2018-03-02 2018-10-12 昆山世纪三友测量技术有限公司 一种三坐标测量仪上测头的自动保护装置
CN108637435A (zh) * 2018-05-16 2018-10-12 华南理工大学 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
CN109101924A (zh) * 2018-08-14 2018-12-28 武汉大学 一种基于机器学习的路面交通标志识别方法
CN109238084A (zh) * 2018-08-28 2019-01-18 合肥工业大学 一种微型圆孔测量的自动导引方法
CN109459980A (zh) * 2018-10-25 2019-03-12 山东中衡光电科技有限公司 一种光学镜面加工共融机器人控制系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
朱烨: "深孔类零件内表面三维综合测量技术的研究", 《中国博士学位论文全文数据库工程科技Ⅰ辑》 *
李瑞君 等: "高精度微孔测量探头", 《计量学报》 *
王乔 等: "基于光学扫描仪引导的CMM自动测量路径规划", 《制造业自动化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113237425A (zh) * 2021-05-12 2021-08-10 合肥工业大学 单摄像头辅助坐标测量机测量微小工件的自动引导方法
CN114858056A (zh) * 2022-05-19 2022-08-05 华中科技大学 一种基于深孔测量装置自动大量测量小深孔孔深的方法

Also Published As

Publication number Publication date
CN110360973B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN105956586B (zh) 一种基于tof 3d摄像机的智能跟踪系统
DE102012021375B4 (de) Vorrichtung und Verfahren zum Erkennen einer dreidimensionalen Position und Orientierung eines Artikels
CN106826815A (zh) 基于彩色图像与深度图像的目标物体识别与定位的方法
CN103350281A (zh) 激光打标机自动调焦装置及自动调焦方法
CN103674839A (zh) 一种基于光斑检测的可视化样品定位操作系统及方法
CN109238084B (zh) 一种微型圆孔测量的自动导引方法
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
WO2017197919A1 (zh) 一种无线充电定位方法、装置、系统及电动汽车
CN110360973A (zh) 一种面向微型工件测量的自动引导方法
CN109931869A (zh) 基于激光扫描成像的物料体积高精度检测方法
CN109084688B (zh) 一种基于可变焦相机的双目视觉测距方法
CN106127145A (zh) 瞳孔定位及跟踪方法
CN105204269A (zh) 一种激光辅助对焦方法及拍摄装置
CN113134683A (zh) 基于机器学习的激光标刻方法及装置
CN111127562B (zh) 一种单目面阵相机的标定方法及自动标定系统
CN109976391A (zh) 光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统及方法
CN105258647A (zh) 一种汽车锁扣铆点的视觉检测方法
CN108320799B (zh) 一种用于侧向流纸条疾病诊断的图像分析与识别方法
CN114580559A (zh) 一种基于单目视觉系统的测速方法
CN106381264B (zh) 机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法
CN108305290B (zh) 一种动目标的精确测谱方法
CN104008366A (zh) 一种3d生物智能识别方法及系统
CN2667481Y (zh) 脉冲激光测距机光轴平行性自动检测装置
CN106767497B (zh) 一种白光干涉轮廓仪空间扫描范围自适应规划方法
CN112747671A (zh) 三维检测系统和三维检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Cheng Zhenying

Inventor after: Luan He

Inventor after: Zheng Jie

Inventor after: Li Ruijun

Inventor before: Li Ruijun

Inventor before: Luan He

Inventor before: Zheng Jie

Inventor before: Cheng Zhenying

GR01 Patent grant
GR01 Patent grant