CN115060198A - 光亮表面工件的全方位立体视觉检测方法及应用 - Google Patents

光亮表面工件的全方位立体视觉检测方法及应用 Download PDF

Info

Publication number
CN115060198A
CN115060198A CN202210988494.3A CN202210988494A CN115060198A CN 115060198 A CN115060198 A CN 115060198A CN 202210988494 A CN202210988494 A CN 202210988494A CN 115060198 A CN115060198 A CN 115060198A
Authority
CN
China
Prior art keywords
workpiece
image
bright
bright surface
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210988494.3A
Other languages
English (en)
Other versions
CN115060198B (zh
Inventor
施文松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Dimension Machine Vision Industry Technology Research Institute Co ltd
Original Assignee
Wuxi Dimension Machine Vision Industry Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Dimension Machine Vision Industry Technology Research Institute Co ltd filed Critical Wuxi Dimension Machine Vision Industry Technology Research Institute Co ltd
Priority to CN202210988494.3A priority Critical patent/CN115060198B/zh
Publication of CN115060198A publication Critical patent/CN115060198A/zh
Application granted granted Critical
Publication of CN115060198B publication Critical patent/CN115060198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种光亮表面工件的全方位立体视觉检测方法及应用，是由视觉检测装置、工业机器人和计算机构成，视觉检测装置是由一个液晶平板显示屏和四个工业相机组成，检测过程为：液晶平板显示屏投射条纹图像，使用四个相机从四个视角获取因光亮表面工件表面轮廓变化而变形的反射条纹图像，之后基于相位测量偏折术计算得到光亮表面工件局部三维轮廓形貌和表面缺陷；驱动工业机器人带动视觉检测装置在多个位姿对工件进行测量，最后通过位姿转换矩阵将计算结果配准至同一坐标系中，完成检测。本发明通过工业机器人驱动，四个视角拍摄图像，克服光亮表面工件曲率变化造成的遮挡问题，能完整测量大尺寸光亮表面工件三维面形，并检测表面缺陷。

Description

光亮表面工件的全方位立体视觉检测方法及应用
技术领域
本发明涉及三维轮廓形貌测量和缺陷检测领域，具体涉及一种光亮表面工件的全方位立体视觉检测方法及其应用。
背景技术
近年来，三维形貌检测技术得到了快速发展并且广泛应用，在人脸识别、逆向工程、工厂检测等领域中都不乏三维形貌检测技术的应用。其中，结构光投影三维成像技术广泛应用于工件表面三维轮廓形貌检测和工件表面缺陷检测等领域，其具有快速、非接触、高精度等优点。对于高反射率光滑表面和镜面物体三维测量，结构光投影不能直接投射到被测物表面，需要借助镜面偏折技术，但对于大尺寸光亮表面工件，由于曲面曲率变化较大造成遮挡和相机视场有限等原因，一般偏折法成像技术难以满足准确检测需求。
发明内容
本发明为克服现有技术的不足之处，提供一种光亮表面工件的全方位立体视觉检测方法及应用，以期能测量大尺寸光亮表面工件的完整三维轮廓形貌并检测表面所有缺陷，从而提高测量范围和测量精度。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种光亮表面工件的全方位立体视觉检测方法，是应用于光亮表面工件的三维轮廓形貌测量的视觉检测装置中，所述视觉检测装置包括四个工业相机和液晶平板显示屏，并将四个工业相机和液晶平板显示屏装配在工业机器人的末端，四个工业相机均匀设置在所述液晶平板显示屏的四周；其特征是，所述光亮表面工件三维轮廓形貌测量是按如下步骤进行：
步骤1、建立工业机器人基坐标系OB、机器人末端执行器坐标系OE、平板光源坐标系OS和四个相机坐标系OC1,OC2,OC3,OC4,并将第一个相机坐标系OC1设置为主相机坐标系；
步骤2、通过估计工业机器人的眼在手视觉系统的位姿关系，获得OC1转换到OE的位姿转换矩阵TE,C1；通过在所述液晶平板显示屏上显示棋盘格图像，标定四个相机坐标系OC1,OC2,OC3,OC4分别与OS的位姿转换矩阵{TCi,S|i=1,2,3,4}；TCi,S为第i个位姿转换矩阵；
步骤3、驱动工业机器人运动至第n个位姿，使光亮表面工件处于四个工业相机的视场中；
步骤4、将任意一个工业相机记为相机A，并获取相机A在一次测量下的条纹图像；
步骤4.1、将计算机产生的正弦条纹图像通过所述液晶平板显示屏投射于光亮表面工件，若光亮表面工件的待测表面为平面，则所述液晶平板显示屏上任意一点Q，经过待测表面上任意一点P的反射后在相机A的拍摄图像上对应点为像点C；
当待测表面的倾斜角为θ时，针对同一像点C，入射光线将偏折2θ角度，对应所述液晶平板显示屏上的点为Q’点，则利用式(Ⅰ)得到Q’和Q的相位变化Δφ：
Δφ=d·tan2θ (Ⅰ)
式(Ⅰ)中，d表示所述液晶平板显示屏和光亮表面工件上任意一点P之间的距离；
步骤4.2、投射于光亮工件表面的正弦条纹图像反射后，由四个工业相机分别从四个视角获取因工件表面轮廓变化而变形的条纹图像；
步骤5、计算感兴趣区域内条纹图像的绝对相位分布；
步骤5.1、利用式(Ⅱ)得到所述液晶平板显示屏上的正弦条纹图像经过待测光亮表面反射后由相机A拍摄的第i幅变形的条纹图像的光强分布函数Ii(x,y)：
Ii(x,y)=ɑ(x,y)+b(x,y)cosΔ(x,y) (Ⅱ)
式(Ⅱ)中，(x,y)为条纹图像上的任意一点坐标，ɑ(x,y)为条纹图像上任意一点坐标(x,y)的背景光强，b(x,y)为条纹图像上任意一点坐标(x,y)经过调制后的正弦条纹振幅，Δ(x,y)为条纹图像上任意一点坐标(x,y)的包裹相位；
步骤5.2、在所述液晶平板显示屏上投射四幅频率为1的正弦条纹图像，且两两相位差为π/2，从而通过式(Ⅲ.Ⅰ)-式(Ⅲ.Ⅴ)所示的四步相移法求取频率为1的条纹图像上任意一点坐标(x,y)解包裹相位Δl(x,y)的值；
I1(x,y) =ɑ(x,y)+b(x,y)cosΔ l (x,y) (Ⅲ.Ⅰ)
I 2(x,y)= ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ π / 2) (Ⅲ.Ⅱ)
I 3(x,y) = ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ π ) (Ⅲ.Ⅲ)
I 4(x,y) = ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ 3π / 2) (Ⅲ.Ⅳ)
Δ l (x,y) = arctan((I4(x,y)- I2(x,y))/( I1(x,y)- I3(x,y))) (Ⅲ.Ⅴ)
式(Ⅲ.Ⅰ)-式(Ⅲ.Ⅴ)中，I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y)分别表示由相机A拍摄的第1幅到第4幅变形的低频条纹图像的光强分布函数；
步骤5.3、在所述液晶平板显示屏上继续投射四幅高频正弦条纹图像，且两两相位差为π/2，并求解得到高频条纹图像上任意一点坐标(x,y)包裹相位Δh(x,y)的值；
步骤5.4、使用式(Ⅳ)所示的时间相位解包裹算法中的倍频法得到高频条纹图像上的任意一点坐标(x,y)的条纹级数e(x,y)：
e(x,y) = round((( fh/ fl ) Δl(x,y) - Δh(x,y)) / 2π) (Ⅳ)
式(Ⅳ)中，fh为高频条纹图像所采用的频率值，fl为低频条纹图像所采用的频率值，round表示四舍五入取整操作；
步骤5.5、由式(Ⅴ)计算在一次测量下高频条纹图像上任意一点坐标(x,y)的绝对相位值Φ(x,y)；
Φ(x,y)= Δh(x,y) + 2 e(x,y)π (Ⅴ)
步骤5.6、使用Canny边缘检测算法对绝对相位分布图像进行边缘检测，分割出光亮表面工件所在的感兴趣区域；
步骤6、获取光亮表面工件的局部三维轮廓形貌；
步骤6.1、利用感兴趣区域中绝对相位分布图像求出所述液晶平板显示屏上的光源点在OS中的三维坐标(xs,ys,zs)，并由位姿变换矩阵{TCi,S|i=1,2,3,4}得到(xs,ys,zs)分别在OC1,OC2,OC3,OC4中三维坐标{(Xsi,Ysi,Zsi)|i=1,2,3,4}；(Xsi,Ysi,Zsi)表示(xs,ys,zs)在第i个相机坐标系中的三维坐标；
步骤6.2、根据{(Xsi,Ysi,Zsi)|i=1,2,3,4}及其在图像上对应点的坐标，求取光亮表面工件的单位法向矢量分布；
步骤6.3、由光亮表面工件的单位法向矢量分布得到光亮表面工件的梯度数据，对梯度数据进行数值积分处理后得到光亮表面工件的局部三维轮廓形貌；
步骤7、根据位姿变换矩阵实现多视角三维点云配准；
步骤7.1、通过双目标定算法结合棋盘格图像，求解得到四个相机坐标系OC1,OC2,OC3,OC4之间的位姿变换矩阵；
步骤7.2、利用位姿变换矩阵对局部三维轮廓形貌进行点云配准，进一步将四个工业相机在各自视角获取的局部三维轮廓形貌转换至主相机坐标系OC1中，从而获得工业机器人(3)在第n个位姿时测量得到的光亮工件表面三维点云D’n；
步骤8、根据机器人正运动学计算得到工业机器人在第n个位姿时OE与OB的位姿转换矩阵TB,E,n，之后利用式(Ⅵ)将D’n转换至OB，并得到工业机器人(3)在第n个位姿时测量得到的光亮工件表面在OB中的三维点云Dn：
[Dn1]T = TB,E,n×TE,C1×[D’n1]T (Ⅵ)
步骤9、驱动工业机器人带动视觉检测装置运动至光亮表面工件上方共N个不同位姿，从而由步骤3到步骤8计算得到光亮表面工件的N个不同部位在OB中的三维点云数据{Dn|n=1,2,...,N}并进行合并后得到光亮表面工件的完整三维轮廓形貌。
本发明所述的光亮表面工件的全方位立体视觉检测方法的特点也在于，按照所述步骤1至步骤5.6的过程处理后，得到光亮表面工件所在的感兴趣区域的绝对相位分布图像，并继续按如下步骤进行工件表面的缺陷检测：
步骤1、用感兴趣区域中绝对相位分布图与标准件的绝对相位分布图作差，得到绝对相位差图；
步骤2、将绝对相位差图转换至频域中并进行滤波处理后，再转换回时域中，得到预处理后的绝对相位差图；
步骤3、采用Sobel滤波器提取预处理后的绝对相位差图的突变区域，并将突变区域标记为缺陷，从而实现相机A在工业机器人第n个位姿下的缺陷检测，进而实现四个工业相机分别从四个视点对光亮表面工件在工业机器人第n个位姿下的缺陷检测，并由四个工业相机坐标系OC1,OC2,OC3,OC4之间的位姿变换矩阵，将工业机器人在第n个位姿下四个视点获得的缺陷配准至主相机坐标系OC1中；
步骤4、工业机器人带动视觉检测装置在N个不同位姿对光亮表面工件进行检测，并通过位姿转换矩阵TE,C1和工业机器人本身的位姿转换矩阵{TB,E,n|n=1,2,...,N}，将每个位姿在主相机坐标系OC1中的缺陷转换至OB后合并得到光亮表面工件的所有表面缺陷。
本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述全方位立体视觉检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于， 所述计算机程序被处理器运行时所述全方位立体视觉检测方法的步骤。
与已有技术相比，本发明的有益效果体现在：
1、本发明通过运动学计算和标定得到的位姿转换矩阵将不同位姿和视角下处理后得到的检测结果配准至同一坐标系中，从而克服了光亮表面工件曲面轮廓变化造成的遮挡问题，解决了视觉测量方式中精度和视野的矛盾问题，从而实现了大视野高精度测量大尺寸光亮表面工件表面完整三维轮廓形貌和表面所有缺陷；
2、本发明由4个工业相机从4个视角采集变形条纹图像，根据相位测量偏折术处理得到光亮表面工件的一个部位经四个视点检测结果，结合双目相机位姿关系，将4个检测结果配准至同一坐标系中，从而克服了曲面曲率变化较大造成的遮挡问题；
3、本发明通过机器人正运动学计算工业机器人本身位姿转换矩阵，并通过改进的矩阵直积算法标定机器人手眼位姿关系，将工业机器人每个位姿下的视觉检测装置检测结果转换至工业机器人基坐标系中，从而提高了测量精度和测量范围；
4、本发明将视觉检测装置安装在工业机器人末端，组成机器人眼在手视觉系统，相对于机器人眼看手视觉系统，不会产生机器人遮挡成像视场问题；
5、本发明为非接触式自动测量，减少了人工成本，提高了检测效率。
附图说明
图1是本发明工业机器人眼在手全方位立体视觉检测系统的结构示意图；
图2是相位测量偏折术原理图；
图中标号：1工业相机；2液晶平板显示屏；3工业机器人；4支架；5工件表面；6条纹图像截面波形图。
具体实施方式
本实施例中，一种光亮表面工件的全方位立体视觉检测方法，是应用于构建光亮表面工件三维轮廓形貌和检测工件表面缺陷，其在工业机器人的末端执行器上搭载了一个全方位立体视觉检测装置；
结构光投影三维成像是机器人3D视觉感知的主要方式，对于粗糙表面，结构光可以直接投射到物体表面进行视觉成像测量；但对于大反射率光滑表面和镜面物体三维测量，结构光投影不能直接投射到被测物体表面，其3D测量还需要借助镜面偏折技术。在这种方案中，用液晶平板显示屏代替投影仪将条纹图像投射出来，每个相机通过光亮表面折返光路，获取被光亮表面曲率变化调制的条纹信息，如图2所示，然后解算出三维轮廓形貌和表面缺陷。
根据4个相机坐标系之间的位姿转换矩阵，将不同相机采集图像获取的三维点云数据统一至主相机坐标系，根据机器人手眼标定和机器人正运动学计算所得的位姿转换矩阵，将主相机坐标系中的三维点云数据转换至工业机器人基坐标系中。驱动工业机器人带动视觉检测装置运动至多个位姿对被测物测量，由多个位姿获取的点云数据拼接得到被测物的完整三维轮廓形貌。
本实施例中，一种光亮表面工件的全方位立体视觉检测方法，是应用于光亮表面工件的三维轮廓形貌的视觉检测装置中，视觉检测装置包括四个工业相机1和液晶平板显示屏2，并将四个工业相机1和液晶平板显示屏2装配在工业机器人3的末端，四个工业相机1均匀设置在液晶平板显示屏2的四周，如图1所示，可以利用一个工业相机1采集的条纹图像获取工件部分三维轮廓形貌，通过四个相机采集和工业机器人驱动可检测工件完整表面三维轮廓形貌；具体地说，光亮表面工件三维轮廓形貌检测是按如下步骤进行：
步骤1、首先，建立工业机器人基坐标系OB、机器人末端执行器坐标系OE，对于一般工业机器人，机器人基坐标系OB的原点位置定义在J2轴所处水平面与J1轴交点处，Z轴向上，X轴向前，Y轴按右手规则确定；对于一般6轴6自由度工业机器人，机器人末端执行器坐标系OE的原点为工业机器人J6轴的原点，将J6轴的X轴和Z轴按照J6轴的Y轴旋转180°得到机器人末端执行器坐标系OE的X轴、Z轴的方向，机器人末端执行器坐标系OE的Y轴与J6轴的Y轴方向相同；建立平板光源坐标系OS，OS的X轴沿像素阵列水平方向，Y轴沿像素阵列垂直方向；建立4个相机坐标系OC1,OC2,OC3,OC4，将相机光心作为各个相机坐标系的原点，其 X轴和Y轴方向与图像横、纵轴平行，Z轴与相机的光轴重合，并将第一个相机坐标系OC1设置为主相机坐标系；
步骤2、将棋盘格放置在固定位置，操纵工业机器人移动到至少3个不同位姿，主相机采集棋盘格图像，根据棋盘格图像计算相机处于不同位姿时的外参，机器人正运动学计算不同位姿时OE相对于OB的位姿转换矩阵，之后由不同位姿时相机外参和工业机器人位姿转换矩阵构造手眼标定标准方程，基于改进的矩阵直积算法求解标准方程得到OC1转换到OE的位姿转换矩阵TE,C1；通过在液晶平板显示屏2上显示棋盘格图像，在相机视场范围内放置一个平面镜，相机通过平面镜中棋盘格镜像间接标定四个相机坐标系OC1,OC2,OC3,OC4分别与OS的位姿转换矩阵{TCi,S|i=1,2,3,4}；TCi,S为第i个位姿转换矩阵；
步骤3、驱动工业机器人3运动至第n个位姿，使光亮表面工件处于四个工业相机的视场中；
步骤4、将任意一个工业相机1记为相机A，并获取相机A在一次测量下的条纹图像；
步骤4.1、由计算机分别生成水平、竖直两个方向的正弦条纹图像，通过液晶平板显示屏2投射于光亮表面工件，若光亮表面工件的待测表面为平面，则液晶平板显示屏2上任意一点Q，经过待测表面上任意一点P的反射后在相机A的拍摄图像上对应点为像点C；
当待测表面的倾斜角为θ时，针对同一像点C，入射光线将偏折2θ角度，如图2所示，对应液晶平板显示屏2上的点为Q’点，则利用式(Ⅰ)得到Q’和Q的相位变化Δφ：
Δφ=d·tan2θ (Ⅰ)
式(Ⅰ)中，d表示液晶平板显示屏2和光亮表面工件上任意一点P之间的距离；
步骤4.2、投射于光亮工件表面的正弦条纹图像反射后，由四个工业相机分别从四个视角获取因工件表面轮廓变化而变形的条纹图像；
步骤5、计算感兴趣区域内条纹图像的绝对相位分布；
步骤5.1、利用式(Ⅱ)得到液晶平板显示屏2上的正弦条纹图像经过待测光亮表面反射后由相机A拍摄的第i幅变形的条纹图像的光强分布函数Ii(x,y)：
Ii(x,y)=ɑ(x,y)+b(x,y)cosΔ(x,y) (Ⅱ)
式(Ⅱ)中，(x,y)为条纹图像上的任意一点坐标，ɑ(x,y)为条纹图像上任意一点坐标(x,y)的背景光强，b(x,y)为条纹图像上任意一点坐标(x,y)经过调制后的正弦条纹振幅，Δ(x,y)为条纹图像上任意一点坐标(x,y)的包裹相位；
步骤5.2、在液晶平板显示屏2上投射四幅频率为1的正弦条纹图像，且两两相位差为π/2，从而通过式(Ⅲ.Ⅰ)-式(Ⅲ.Ⅴ)所示的四步相移法求取频率为1的条纹图像上任意一点坐标(x,y)解包裹相位Δl(x,y)的值；
I1(x,y) =ɑ(x,y)+b(x,y)cosΔ l (x,y) (Ⅲ.Ⅰ)
I 2(x,y)= ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ π / 2) (Ⅲ.Ⅱ)
I 3(x,y) = ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ π ) (Ⅲ.Ⅲ)
I 4(x,y) = ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ 3π / 2) (Ⅲ.Ⅳ)
Δ l (x,y) = arctan((I4(x,y)- I2(x,y))/(I1(x,y)-I3(x,y))) (Ⅲ.Ⅴ)
式(Ⅲ.Ⅰ)-式(Ⅲ.Ⅴ)中，I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y)分别表示由相机A拍摄的第1幅到第4幅变形的低频条纹图像的光强分布函数；
步骤5.3、在液晶平板显示屏(2)上继续投射四幅高频正弦条纹图像，且两两相位差为π/2，同理求解可得高频条纹图像上任意一点坐标(x,y)包裹相位Δh(x,y)的值；
步骤5.4、使用式(Ⅳ)所示的时间相位解包裹算法中的倍频法得到高频条纹图像上的任意一点坐标(x,y)的条纹级数e(x,y)：
e(x,y) = round((( fh/fl) Δl(x,y)-Δh(x,y)) / 2π) (Ⅳ)
式(Ⅳ)中，fh为高频条纹图像所采用的频率值，fl为低频条纹图像所采用的频率值，round表示四舍五入取整操作；
步骤5.5、由式(Ⅴ)计算在一次测量下高频条纹图像上任意一点坐标(x,y)的绝对相位值Φ(x,y)；
Φ(x,y)= Δh(x,y) + 2e(x,y)π (Ⅴ)
步骤5.6、使用Canny边缘检测算法对绝对相位分布图像进行边缘检测，分割出光亮表面工件所在的感兴趣区域；
步骤6、获取光亮表面工件的局部三维轮廓形貌；
步骤6.1、利用感兴趣区域中绝对相位分布图像求出液晶平板显示屏2上的光源点在OS中的三维坐标(xs,ys,zs)，并由位姿变换矩阵{TCi,S|i=1,2,3,4}得到(xs,ys,zs)在OC1,OC2,OC3,OC4中三维坐标{(Xsi,Ysi,Zsi)|i=1,2,3,4}；(Xsi,Ysi,Zsi)表示(xs,ys,zs)在第i个相机坐标系中的三维坐标；
步骤6.2、根据{(Xsi,Ysi,Zsi)|i=1,2,3,4}及其在图像上对应点的坐标，求取光亮表面工件的单位法向矢量分布；
步骤6.3、由光亮表面工件的单位法向矢量分布得到光亮表面工件的梯度数据，对梯度数据进行数值积分处理后得到光亮表面工件的局部三维轮廓形貌；
步骤7、根据位姿变换矩阵实现多视角三维点云配准；
步骤7.1、通过双目标定算法结合棋盘格图像，求解得到四个相机坐标系OC1,OC2,OC3,OC4之间的位姿变换矩阵；
步骤7.2、利用位姿变换矩阵对局部三维轮廓形貌进行点云配准，进一步将四个工业相机在各自视角获取的局部三维轮廓形貌转换至主相机坐标系OC1中，从而获得工业机器人3在第n个位姿时测量得到的光亮工件表面三维点云D’n；
步骤8、根据机器人正运动学计算得到工业机器人3在第n个位姿时OE与OB的位姿转换矩阵TB,E,n，之后利用式(Ⅵ)将D’n转换至OB，并得到工业机器人(3)在第n个位姿时测量得到的光亮工件表面在OB中的三维点云Dn：
[Dn1]T= TB,E,n×TE,C1×[D’n1]T (Ⅵ)
步骤9、驱动工业机器人3带动视觉检测装置运动至光亮表面工件上方共N个不同位姿，从而由步骤3到步骤8计算得到光亮表面工件的N个不同部位在OB中的三维点云数据{Dn|n=1,2,...,N}并进行合并后得到光亮表面工件的完整三维轮廓形貌。
本实施例中，提供了一种检测光亮表面工件表面缺陷的方法，按照步骤1至步骤5.6的过程处理后，得到光亮表面工件所在的感兴趣区域的绝对相位分布图像，可由绝对相位分布图像检测工件表面缺陷，具体地说，检测光亮表面工件表面缺陷是按照以下步骤进行：
步骤1、用感兴趣区域中绝对相位分布图与标准件的绝对相位分布图作差，得到绝对相位差图；
步骤2、将绝对相位差图转换至频域中，并进行滤波处理后，再转换回时域中，得到预处理后的绝对相位差图；
步骤3、采用Sobel滤波器提取预处理后的绝对相位差图的突变区域，并将突变区域标记为缺陷，从而实现相机A在工业机器人3第n个位姿下的缺陷检测，进而实现四个工业相机分别从四个视点对光亮表面工件在工业机器人3第n个位姿下的缺陷检测，并由四个工业相机坐标系OC1,OC2,OC3,OC4之间的位姿变换矩阵，将工业机器人3在第n个位姿下四个视点获得的缺陷配准至主相机坐标系OC1中；
步骤4、工业机器人3带动视觉检测装置在N个不同位姿对光亮表面工件进行检测，并通过位姿转换矩阵TE,C1和工业机器人3本身的位姿转换矩阵{TB,E,n|n=1,2,...,N}，将每个位姿在主相机坐标系OC1中的缺陷转换至OB后合并得到光亮表面工件的所有表面缺陷。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行该全方位立体视觉检测方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时该全方位立体视觉检测方法的步骤。

Claims (4)

1.一种光亮表面工件的全方位立体视觉检测方法，是应用于光亮表面工件的三维轮廓形貌测量的视觉检测装置中，所述视觉检测装置包括四个工业相机(1)和液晶平板显示屏(2)，并将四个工业相机(1)和液晶平板显示屏(2)装配在工业机器人(3)的末端，四个工业相机(1)均匀设置在所述液晶平板显示屏(2)的四周；其特征是，所述光亮表面工件三维轮廓形貌测量是按如下步骤进行：
步骤1、建立工业机器人基坐标系OB、机器人末端执行器坐标系OE、平板光源坐标系OS和四个相机坐标系OC1,OC2,OC3,OC4,并将第一个相机坐标系OC1设置为主相机坐标系；
步骤2、通过估计工业机器人(3)的眼在手视觉系统的位姿关系，获得OC1转换到OE的位姿转换矩阵TE,C1；通过在所述液晶平板显示屏(2)上显示棋盘格图像，标定四个相机坐标系OC1,OC2,OC3,OC4分别与OS的位姿转换矩阵{TCi,S|i=1,2,3,4}；TCi,S为第i个位姿转换矩阵；
步骤3、驱动工业机器人(3)运动至第n个位姿，使光亮表面工件处于四个工业相机的视场中；
步骤4、将任意一个工业相机记为相机A，并获取相机A在一次测量下的条纹图像；
步骤4.1、将计算机产生的正弦条纹图像通过所述液晶平板显示屏(2)投射于光亮表面工件，若光亮表面工件的待测表面为平面，则所述液晶平板显示屏(2)上任意一点Q，经过待测表面上任意一点P的反射后在相机A的拍摄图像上对应点为像点C；
当待测表面的倾斜角为θ时，针对同一像点C，入射光线将偏折2θ角度，对应所述液晶平板显示屏(2)上的点为Q’点，则利用式(Ⅰ)得到Q’和Q的相位变化Δφ：
Δφ=d·tan2θ (Ⅰ)
式(Ⅰ)中，d表示所述液晶平板显示屏(2)和光亮表面工件上任意一点P之间的距离；
步骤4.2、投射于光亮工件表面的正弦条纹图像反射后，由四个工业相机分别从四个视角获取因工件表面轮廓变化而变形的条纹图像；
步骤5、计算感兴趣区域内条纹图像的绝对相位分布；
步骤5.1、利用式(Ⅱ)得到所述液晶平板显示屏(2)上的正弦条纹图像经过待测光亮表面反射后由相机A拍摄的第i幅变形的条纹图像的光强分布函数Ii(x,y)：
Ii(x,y)= ɑ(x,y)+ b(x,y)cosΔ(x,y) (Ⅱ)
式(Ⅱ)中，(x,y)为条纹图像上的任意一点坐标，ɑ(x,y)为条纹图像上任意一点坐标(x,y)的背景光强，b(x,y)为条纹图像上任意一点坐标(x,y)经过调制后的正弦条纹振幅，Δ(x,y)为条纹图像上任意一点坐标(x,y)的包裹相位；
步骤5.2、在所述液晶平板显示屏(2)上投射四幅频率为1的正弦条纹图像，且两两相位差为π / 2，从而通过式(Ⅲ.Ⅰ)-式(Ⅲ.Ⅴ)所示的四步相移法求取频率为1的条纹图像上任意一点坐标(x,y)解包裹相位Δl(x,y)的值；
I1(x,y) =ɑ(x,y)+ b(x,y)cosΔ l (x,y) (Ⅲ.Ⅰ)
I 2(x,y)= ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ π / 2) (Ⅲ.Ⅱ)
I 3(x,y) = ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ π ) (Ⅲ.Ⅲ)
I 4(x,y) = ɑ(x,y)+ b(x,y)cos(Δ l (x,y)+ 3π / 2) (Ⅲ.Ⅳ)
Δ l (x,y) = arctan((I4(x,y)- I2(x,y))/( I1(x,y)- I3(x,y))) (Ⅲ.Ⅴ)
式(Ⅲ.Ⅰ)-式(Ⅲ.Ⅴ)中，I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y)分别表示由相机A拍摄的第1幅到第4幅变形的低频条纹图像的光强分布函数；
步骤5.3、在所述液晶平板显示屏(2)上继续投射四幅高频正弦条纹图像，且两两相位差为π/2，并求解得到高频条纹图像上任意一点坐标(x,y)包裹相位Δh(x,y)的值；
步骤5.4、使用式(Ⅳ)所示的时间相位解包裹算法中的倍频法得到高频条纹图像上的任意一点坐标(x,y)的条纹级数e(x,y)：
e(x,y) = round((( fh / fl ) Δl(x,y) - Δh(x,y)) / 2π) (Ⅳ)
式(Ⅳ)中，fh为高频条纹图像所采用的频率值，fl为低频条纹图像所采用的频率值，round表示四舍五入取整操作；
步骤5.5、由式(Ⅴ)计算在一次测量下高频条纹图像上任意一点坐标(x,y)的绝对相位值Φ(x,y)；
Φ(x,y)= Δh(x,y) + 2 e(x,y)π (Ⅴ)
步骤5.6、使用Canny边缘检测算法对绝对相位分布图像进行边缘检测，分割出光亮表面工件所在的感兴趣区域；
步骤6、获取光亮表面工件的局部三维轮廓形貌；
步骤6.1、利用感兴趣区域中绝对相位分布图像求出所述液晶平板显示屏(2)上的光源点在OS中的三维坐标(xs,ys,zs)，并由位姿变换矩阵{TCi,S|i=1,2,3,4}得到(xs,ys,zs)分别在OC1,OC2,OC3,OC4中三维坐标{(Xsi,Ysi,Zsi)|i=1,2,3,4}；(Xsi,Ysi,Zsi)表示(xs,ys,zs)在第i个相机坐标系中的三维坐标；
步骤6.2、根据{(Xsi,Ysi,Zsi)|i=1,2,3,4}及其在图像上对应点的坐标，求取光亮表面工件的单位法向矢量分布；
步骤6.3、由光亮表面工件的单位法向矢量分布得到光亮表面工件的梯度数据，对梯度数据进行数值积分处理后得到光亮表面工件的局部三维轮廓形貌；
步骤7、根据位姿变换矩阵实现多视角三维点云配准；
步骤7.1、通过双目标定算法结合棋盘格图像，求解得到四个相机坐标系OC1,OC2,OC3,OC4之间的位姿变换矩阵；
步骤7.2、利用位姿变换矩阵对局部三维轮廓形貌进行点云配准，进一步将四个工业相机在各自视角获取的局部三维轮廓形貌转换至主相机坐标系OC1中，从而获得工业机器人(3)在第n个位姿时测量得到的光亮工件表面三维点云D’n；
步骤8、根据机器人正运动学计算得到工业机器人(3)在第n个位姿时OE与OB的位姿转换矩阵TB,E,n，之后利用式(Ⅵ)将D’n转换至OB，并得到工业机器人(3)在第n个位姿时测量得到的光亮工件表面在OB中的三维点云Dn：
[Dn1]T = TB,E,n×TE,C1×[D’n1]T (Ⅵ)
步骤9、驱动工业机器人(3)带动视觉检测装置运动至光亮表面工件上方共N个不同位姿，从而由步骤3到步骤8计算得到光亮表面工件的N个不同部位在OB中的三维点云数据{Dn|n=1,2,...,N}并进行合并后得到光亮表面工件的完整三维轮廓形貌。
2.根据权利要求1所述的光亮表面工件的全方位立体视觉检测方法，其特征是，按照所述步骤1至步骤5.6的过程处理后，得到光亮表面工件所在的感兴趣区域的绝对相位分布图像，并继续按如下步骤进行工件表面的缺陷检测：
步骤1、用感兴趣区域中绝对相位分布图与标准件的绝对相位分布图作差，得到绝对相位差图；
步骤2、将绝对相位差图转换至频域中并进行滤波处理后，再转换回时域中，得到预处理后的绝对相位差图；
步骤3、采用Sobel滤波器提取预处理后的绝对相位差图的突变区域，并将突变区域标记为缺陷，从而实现相机A在工业机器人(3)第n个位姿下的缺陷检测，进而实现四个工业相机分别从四个视点对光亮表面工件在工业机器人(3)第n个位姿下的缺陷检测，并由四个工业相机坐标系OC1,OC2,OC3,OC4之间的位姿变换矩阵，将工业机器人(3)在第n个位姿下四个视点获得的缺陷配准至主相机坐标系OC1中；
步骤4、工业机器人(3)带动视觉检测装置在N个不同位姿对光亮表面工件进行检测，并通过位姿转换矩阵TE,C1和工业机器人(3)本身的位姿转换矩阵{TB,E,n|n=1,2,...,N}，将每个位姿在主相机坐标系OC1中的缺陷转换至OB后合并得到光亮表面工件的所有表面缺陷。
3.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1或2所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
4.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1或2所述方法的步骤。
CN202210988494.3A 2022-08-17 2022-08-17 光亮表面工件的全方位立体视觉检测方法及应用 Active CN115060198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210988494.3A CN115060198B (zh) 2022-08-17 2022-08-17 光亮表面工件的全方位立体视觉检测方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210988494.3A CN115060198B (zh) 2022-08-17 2022-08-17 光亮表面工件的全方位立体视觉检测方法及应用

Publications (2)

Publication Number Publication Date
CN115060198A true CN115060198A (zh) 2022-09-16
CN115060198B CN115060198B (zh) 2022-11-11

Family

ID=83207400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210988494.3A Active CN115060198B (zh) 2022-08-17 2022-08-17 光亮表面工件的全方位立体视觉检测方法及应用

Country Status (1)

Country Link
CN (1) CN115060198B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115816471A (zh) * 2023-02-23 2023-03-21 无锡维度机器视觉产业技术研究院有限公司 多视角3d视觉引导机器人的无序抓取方法、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174223A (ja) * 1999-12-20 2001-06-29 Mitsubishi Electric Corp 熱物体の位置と形状の検出装置
CN1758020A (zh) * 2005-11-18 2006-04-12 北京航空航天大学 基于自适应正弦条纹投射的立体视觉检测系统
US20100328435A1 (en) * 2006-06-21 2010-12-30 Yong Joo Puah Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components
CN102937425A (zh) * 2012-10-18 2013-02-20 北京航空航天大学 一种基于高动态条纹投射器的强反射表面三维形貌测量系统
CN105783775A (zh) * 2016-04-21 2016-07-20 清华大学 一种镜面及类镜面物体表面形貌测量装置与方法
CN108225209A (zh) * 2017-12-04 2018-06-29 中国特种飞行器研究所 一种立体视觉腐蚀形貌检测装置及检测方法
CN109029257A (zh) * 2018-07-12 2018-12-18 中国科学院自动化研究所 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
US20190091871A1 (en) * 2017-09-26 2019-03-28 Toyota Research Institute, Inc. Deformable sensors and methods for detecting pose and force against an object
CN111415405A (zh) * 2020-03-16 2020-07-14 苏州依诺维视智能科技有限公司 高反光表面工件的三维高精度视觉测量方法
WO2021016370A1 (en) * 2019-07-23 2021-01-28 eBots Inc. System and method for 3d pose measurement with high precision and real-time object tracking
CN112648936A (zh) * 2021-01-28 2021-04-13 绍兴钜光光电科技有限公司 基于差分投影的立体视觉检测方法及检测装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174223A (ja) * 1999-12-20 2001-06-29 Mitsubishi Electric Corp 熱物体の位置と形状の検出装置
CN1758020A (zh) * 2005-11-18 2006-04-12 北京航空航天大学 基于自适应正弦条纹投射的立体视觉检测系统
US20100328435A1 (en) * 2006-06-21 2010-12-30 Yong Joo Puah Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components
CN102937425A (zh) * 2012-10-18 2013-02-20 北京航空航天大学 一种基于高动态条纹投射器的强反射表面三维形貌测量系统
CN105783775A (zh) * 2016-04-21 2016-07-20 清华大学 一种镜面及类镜面物体表面形貌测量装置与方法
US20190091871A1 (en) * 2017-09-26 2019-03-28 Toyota Research Institute, Inc. Deformable sensors and methods for detecting pose and force against an object
CN108225209A (zh) * 2017-12-04 2018-06-29 中国特种飞行器研究所 一种立体视觉腐蚀形貌检测装置及检测方法
CN109029257A (zh) * 2018-07-12 2018-12-18 中国科学院自动化研究所 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
WO2021016370A1 (en) * 2019-07-23 2021-01-28 eBots Inc. System and method for 3d pose measurement with high precision and real-time object tracking
CN111415405A (zh) * 2020-03-16 2020-07-14 苏州依诺维视智能科技有限公司 高反光表面工件的三维高精度视觉测量方法
CN112648936A (zh) * 2021-01-28 2021-04-13 绍兴钜光光电科技有限公司 基于差分投影的立体视觉检测方法及检测装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115816471A (zh) * 2023-02-23 2023-03-21 无锡维度机器视觉产业技术研究院有限公司 多视角3d视觉引导机器人的无序抓取方法、设备及介质

Also Published As

Publication number Publication date
CN115060198B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN111750805B (zh) 一种基于双目相机成像和结构光技术的三维测量装置及测量方法
CN109357632B (zh) 一种镜面物体三维形貌测量方法及装置
US5510833A (en) Method and apparatus for transforming coordinate systems in an automated video monitor alignment system
US6205240B1 (en) Optical profile sensor
Wust et al. Surface profile measurement using color fringe projection
CN110296667B (zh) 基于线结构光多角度投影的高反射表面三维测量方法
US6674531B2 (en) Method and apparatus for testing objects
Kammel et al. Deflectometric measurement of specular surfaces
US20100315422A1 (en) Method and apparatus for surface contour mapping
Barone et al. 3D acquisition and stereo-camera calibration by active devices: A unique structured light encoding framework
CN111765851B (zh) 基于双屏透射显示的镜面物体三维形貌测量方法及装置
CN108981607A (zh) 一种基于双线激光器的物体彩色三维轮廓扫描装置
CN113205593A (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
TWI699525B (zh) 三維相位移瑕疵檢測方法及系統
CN115060198B (zh) 光亮表面工件的全方位立体视觉检测方法及应用
CN108195314A (zh) 基于多视场拼接的反射式条纹三维面形测量方法
CN113899321A (zh) 凹面镜辅助成像的镜面物体三维形貌测量方法及系统
Xu et al. A robot-assisted back-imaging measurement system for transparent glass
Tran et al. Extrinsic calibration of a camera and structured multi-line light using a rectangle
Klemm et al. Non-parametric camera-based calibration of optical see-through glasses for AR applications
Han et al. An accurate phase measuring deflectometry method for 3D reconstruction of mirror-like specular surface
CN107941147B (zh) 大型系统三维坐标非接触在线测量方法
Rotscholl et al. 26.3: Advanced Alignment and Metrology Concepts Using Photometric Robotics with Examples for Automotive Displays
Munaro et al. Fast 2.5 D model reconstruction of assembled parts with high occlusion for completeness inspection
Wender et al. Towards Quantitative Measurement of Light Transport in Unconventional Optics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant