具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例中,将相位映射技术、计算机视觉技术及计算机图形学技术 相结合,使用三组传感器实现大尺寸、薄壳、箱状物体表面尺寸测量及在线检测。
本发明实施例提供的检测过程可分为4个阶段,即检测现场布置规划、传感器系统标定、多传感器控制及测量、多视场测量数据匹配、物体尺寸(长、宽、高、壁厚、表面平整度等)计算及与标准CAD模型比对。主要原理如下:
1.检测现场布置规划阶段
1.1在生产线上,搭建可旋转的支架平台,用于放置被检测的箱状物体,为了无遮挡的获取物体底面数据,采用四支细柱,焊接与旋转台之上,四根支柱用于支撑被测物体,其中一根支柱可作为基准,标识出物体放置的位置。
1.2在测量现场安装三套相位结构光测量传感器,为尽可能扩大数据的采集范围,采用上、中、下合理布置传感器位姿。
2传感器测量系统的标定阶段
2.1标靶的制作,即在物体内外表面粘贴大量编码标记点,结合摄影测量方法计算标记点的空间三维坐标,作为传感器标定的标靶,标靶定位精度在0.02mm以内。
2.2在三个传感器的拍摄视场范围之内,旋转、平行移动标靶4到8个位置,每移动一个位置,拍摄一幅标靶图像;
2.3自动识别并提取图像上,标靶的圆形标记点坐标,使用编码信息唯一识别标志点,使用亚像素边缘提取算法,提取标记点边缘,并拟合椭圆,获取椭圆圆心坐标。
2.4利用提取的标记点图像坐标与其相应的空间三维坐标,标定每个传感器的内外参数,以及三个传感器之间的结构参数。
3多传感器控制及测量阶段
3.1利用一台计算机控制3套传感器(共3个投影装置与6个CCD摄像机),采取模块化程序设计,包括一个程序控制模块、采集模块、一个标定模块、一个匹配模块、一个比对模块及显示模块;
3.2由传送机构将被测物体运输到测量支架平台上,物体四个角分别对应四个支架;
3.3控制转台旋转4个角度(每次90度),在每个角度,三套传感系统各拍摄一组深度数据;
4多视场测量数据匹配阶段
4.1利用已标定的三个传感系统的结构参数,将一个角度获取的3个深度数据进行同一坐标系转换;
4.2由旋转台转轴位置与标定信息,计算每次旋转产生的刚体变换;
4.3以该刚体变换作为初始值,利用最近点迭代算法将四个角度拍摄的深度数据匹配在统一坐标系。
5物体尺寸计算及与标准CAD模型比对
5.1利用最近点迭代方法,将测量的三维数据与CAD模型匹配起来,计算所有测量点到CAD模型的距离;
5.2统计计算的距离数值,用各种颜色的地形图标识出模型的比对误差,包括物体的内侧面、外侧面、内底面、外底面等;
5.3由射线跟踪等方法计算物体的长、宽、高、壁厚等相关尺寸。
基于以上各阶段的规划原理即可进行现场布置检测了。与上文相对应描述如下:
在线检测现场布置
图1是检测系统场景布置示意图。图1中,101是CCD摄像机1,102是CCD摄像机2,103是CCD摄像机3,104是CCD摄像机4,105是CCD摄像机5,106是CCD摄像机6,107是投影机1,108是投影机2,109是投影机3,110是被测物体,111是支柱,112是转台。其中,101、102与107组成第一组传感器1,103、104与108组成第二组传感器2,105、106与109组成第三组 传感器3。
三个传感器及被测物体相对位置如图1所示,传感器1置于靠上位置,距地面约2200mm,向下俯视,与水平面夹角约45度,用以获取物体内侧面与内底面数据;传感器2置于靠下位置,距地面约200mm,向上仰视,与水平面夹角约45度,用以获取物体外底面数据;传感器3置于另一侧靠中位置,距地面约1100mm,基本水平视角,用以获取物体外侧面数据。旋转台4基于地面上,旋转台直径1000mm,4根支柱置于旋转台4上,支柱长800mm,被测物体置于支柱之上。
单传感器标定模型
传感器采用基于相位映射的光学三角测量法。如图2所示,投影机107投射出正弦条纹图,条纹图被物体113表面形貌调制变形,利用CCD摄像机101、102获取这些变形的条纹图像,结合数字图像处理及相位解调方法(相移与时间相位展开)处理得到条纹图的相位分布,结合标定好的CCD摄像机101、102及投影机107的内、外参数及相对位置关系便可以获得物体表面的三维深度信息。
由投影机与CCD摄像机组成的结构光视觉传感器的数学模型如图2所示。其中,建立三个坐标系,世界坐标系OWXWYWZW,CCD摄像机1坐标系Oc1Xc1Yc1Zc1,CCD摄像机2坐标系Oc2Xc2Yc2Zc2各个坐标系之间存在一个刚体变换关系,即每两个坐标系之间,存在一个旋转变换与平移变换,其中旋转变换可由一个3阶正交矩阵R来表示,平移变换由一个平移向量t来表示。此处,需确定由世界坐标系OWXWYWZW到CCD摄像机1坐标系Oc1Xc1Yc1Zc1的Rc1和tc1;由世界坐标系OWXWYWZW到CCD摄像机2坐标系Oc2Xc2Yc2Zc2的Rc2和tc2;以及由CCD摄像机1坐标系Oc1Xc1Yc1Zc1CCD摄像机2坐标系Oc2Xc2Yc2Zc2的R和t。此处,这些参数的获取,通过同时拍摄标定参照物图像,并逐一建立各摄像机标定模型,对CCD摄像机进行标定。其CCD摄像机标定的数学模型如图3所示:
图3中Oc点为成像透视点,X1O1Y1为像平面。过Oc点做OcZc轴垂直于像平面且交像平面于O1点,在像平面上以O1点为原点建立像平面直角坐标系X1O1Y1,同时以Oc为原点建立摄像机坐标系OcXcYcZc,且保证OcXc轴平行于O1X1轴,方向一致,OcYc轴平行于O1Y1轴,方向一致。
世界坐标系下一点X用4维齐次坐标(X,Y,Z,1)T表示;图像点x被表示成3维齐次坐标形式(u,v,1)T;则成像过程可表示为:
x=K[Rctc]X (1)
矩阵 称为摄像机标定矩阵,α和β是跟焦距有关的两个尺度因子,u0和v0是主点,γ为扭曲因子;Rc和tc分别表示从世界坐标到摄像机坐标的旋转和平移。考虑镜头的径向畸变和离心畸变,则畸变后点的坐标:
其中,
表示径向畸变,
表示离心畸变,r
2=u
2+v
2,k
1k
2k
3为径向畸变系数,p
1p
2分别为离心畸变系数。
综上,标定数学模型:对于给定的一个标定的参照物,参照物上的m个标志点在世界坐标系下记为Xj,j=1...m,从n个视场采集该参考面的n幅图像,记xij为第i幅图像上的第j个三维点Xj在图像坐标系下的坐标。则通过最小化以下误差函数:
由以上针孔透视模型(1)及镜头畸变模型(2)可以构造出下式:
和
分别表示镜头的径向畸变和离心畸变。整个模型共需标定10个内部参数,和6n个外部参数,通过Gauss-Newton迭代法解非线性最优化问题求解,可参见《最优化理论与方法》(袁亚湘、孙文瑜,科学出版社,1999年)。由标定结果的外部参数(世界坐标系到CCD摄像机1坐标系的刚体变换R
c1 t
c1、世界坐标系到CCD摄像机2坐标系的刚体变换R
c2 t
c2),可获取CCD摄像机1与CCD摄像机2间的转换矩阵
t
c21=t
c2-R·t
c1。具体可参见《计算机视觉》(马颂德、张正友,科学出版社,1998)
三传感器系统标定
为同时实现三套传感器各自系统的结构标定与系统间的相互位姿标定,标定参照物采用在物体内外表面粘贴大量编码标记点获得,如图4所示,每个标记点由直径23mm的圆,圆周围绕着23mm宽的圆环用以编码标识,印刷精度为0.01mm,每个标记点间距约100mm,利用数码相机多角度拍摄标记点,结合摄影测量方法计算标记点的空间三维坐标,作为传感器标定的标靶,标靶定位精度在0.05mm以内。具体方法可参见《近景摄影测量:物体外形与运动状态的摄影法测定》(冯文灏,武汉大学出版社,2002)。
在特定测量空间内,多角度旋转并平移标靶,三套传感器同时拍摄不同角度的标靶图像,自动提取图像上圆形特征点的亚像素图像坐标,并结合对应的特征点的世界坐标系三维空间坐标来标定6个CCD摄像机的内部参数与外部参数,及三套传感器各自的结构参数。而三套系统相互间位姿关系由图5计算获得。在每套传感器上建立各自局部坐标系,坐标系原点在传感器的左CCD摄像机上,xyz坐标轴同CCD成像模型坐标轴相同,另加世界坐标系OWXWYWZW,共建立4个坐标系。为获取三套传感器间的位姿关系,即可计算传感器2到传感器1的空间变换R21t21,及传感器3到传感器1间的空间变换R31t31。其数学表达如下:
经以上CCD摄像机标定方法,可获取世界坐标系到各摄像机坐标系的空间变换,即世界坐标系OWXWYWZW下一点X,经标定可获得该点:
在传感器1坐标系O1X1Y1Z1下坐标X1=R1X+t1(5)
在传感器2坐标系O2X2Y2Z2下坐标X2=R2X+t2(6)
在传感器3坐标系O3X3Y3Z3下坐标X3=R3X+t3(7)
其中,R1、R2、R3、t1、t2、t3均由标定信息获取。
由(5)(6)(7)可计算得:
即得到传感器2到传感器1的空间变换
传感器3到传感器1间的空间变换
多传感器控制及测量
检测系统进行一次标定好参数后,便可对物体进行检测。
检测过程如下:
(1)由传送机构将被测物体运输到测量支架上,物体四个角分别对应四个支架;
(2)传感器1采集物体内侧面及内底面三维数据;
(a)传感器投射正弦条纹,采集被物体高度调制条纹;
(b)利用相移与时间相位展开方法获取条纹的相位分布图;
(c)由标定信息计算相位映射的高度信息,获得三维数据;
(3)传感器2采集物体外底面三维数据;
(4)传感器3采集物体外侧面三维数据;
(5)由传感器标定信息,将传感器2与传感器3采集的三维数据统一到传感器1坐标系;
(6)控制转台旋转3个角度(每次90度),在每个角度,三套传感器重复步骤(2)-(5),以获取多角度三维数据;
(7)由旋转轴位置与旋转角度获取每次旋转产生的刚体变换;
(8)以该刚体变换作为初始值,利用最近点迭代算法将四个角度拍摄的深度数据匹配到同一坐标系。最近点迭代算法(ICP)可参见《多视场深度像造型中的若干关键技术》(刘晓利,博士学位论文,2008)。
被测物体尺寸计算及与标准CAD模型比对
被测物体尺寸计算与标准CAD模型比对,分为以下步骤:
(1)利用最近点迭代方法,将测量的三维数据与CAD模型匹配起来;
(2)对CAD模型进行采样,用采样点参与比对,采样原理如下:
●规定CAD模型的底面与z轴垂直,侧面分别与x轴、y轴垂直;
●仅对平面采样(侧面、底面),不对连接侧面的圆弧面采样;
●采样点间距相等,均匀分布;
●所有平行的表面,其采样点的某两维坐标一一对应。如图6所示,对于侧面某点A,必定有B、C、D三点存在,它们的y、z坐标相等;对于底面某点E,有F点存在,它们的x、y坐标相等、
(3)计算所有采样点到CAD模型的距离,根据每个距离值构造一副伪彩色表面误差分布图像。
(4)统计计算的距离数值,用各种颜色的地形图标识出模型的比对误差,包括物体的内侧面、外侧面、内底面、外底面等;
由射线跟踪等方法计算物体的长、宽、高、壁厚等相关尺寸。
基于上文所描述的检测原理,图7示出了本发明实施例提供的大型薄壳箱状物体表面的三维检测方法的实现流程,详述如下:
在步骤S701中,控制被测物体以每次90度的方式旋转4个角度,并在每次旋转之后,通过第一组传感器采集被测物体内侧面及内底面的三维深度数据,通过第二组传感器采集被测物体外底面的三维深度数据,通过第三组传感器采集被测物体外侧面的三维深度数据。
其中,每一组传感器均包括一个投影机和分别位于所述投影机左右两边的两个CCD摄像机,投影机用于投射出正弦条纹图,该正弦条纹图被被测物体表面形貌调制变形,利用左右两个CCD摄像机获取这些变形的条纹图像。
进一步地,在此步骤之前,还可包括以下步骤:
A,在被测物体表面粘贴大量编码标记点,结合摄影测量方法计算标记点的空间三维坐标,作为传感器标定的标靶。
B,在每套传感器上建立各自局部坐标系,坐标系原点在传感器的左CCD摄像机上,xyz坐标轴与CCD成像模型坐标轴相同,另加世界坐标系OWXWYWZW,共建立4个坐标系。
C,在特定测量空间内,多角度旋转并平移标靶,三组传感器同时拍摄不同角度的标靶图像,自动提取图像上圆形特征点的亚像素图像坐标,并结合对应的特征点的世界坐标系三维空间坐标来标定每个CCD摄像机的内部参数与外部参数,以及三组传感器各自的结构参数。
D,对世界坐标系OWXWYWZW下的一点X,经标定可获得该点在第一组传感器坐标系O1X1Y1Z1下的坐标为X1=R1X+t1,在第二组传感器坐标系O2X2Y2Z2下的坐标为X2=R2X+t2,在第三组传感器坐标系O3X3Y3Z3下的坐标为X3=R3X+t3,其中,R1、R2、R3、t1、t2、t3均由标定信息获取,R1、R2、R3分别表示从世界坐标系到三组传感器坐标系的旋转,t1、t2、t3分别为从世界坐标系到三组传感器坐标系的平移。
在步骤S702中,将第二组传感器和第三组传感器采集的三维深度数据均统 一到第一组传感器所在的坐标系。
具体地,可根据以下旋转参数R
21和平移参数t
21将所述第二组传感器采集的三维深度数据统一到所述第一组传感器所在的坐标系:
还可根据以下旋转参数R
31和平移参数t
31将所述第二组传感器采集的三维深度数据统一到所述第一组传感器所在的坐标系:
在步骤S703中,由被测物体的旋转轴位置与旋转角度获取每次旋转产生的刚体变换。
在步骤S704中,以刚体变换作为初始值,将四个角度拍摄的三维深度数据匹配到同一坐标系,并将测量的三维深度数据与CAD模型进行匹配,并比对得到被测物体的相关尺寸。
此步骤具体包括:
步骤S7041,利用最近点迭代方法,将测量的三维数据与CAD模型匹配起来。
步骤S7042,对CAD模型进行采样,计算所有采样点到CAD模型的距离,根据每个距离值构造一副伪彩色表面误差分布图像。
采样时仅对CAD模型的平面采样,而对连接侧面的圆弧面则不采样,并且采样时取间距相等、均匀分布的采样点。
步骤S7043,统计计算的距离数值,用各种颜色的地形图标识出模型的比对误差,包括被测物体的内侧面、外侧面、内底面、外底面。
步骤S7044,计算被测物体的相关尺寸。
相应的,本发明实施例提供的大型薄壳物体表面的三维检测系统的结构包括:
可旋转的支架平台,用于放置被测物体;
三组传感器,其中第一组传感器用于采集被测物体内侧面及内底面的三维深度数据,第二组传感器用于采集被测物体外底面的三维深度数据,第三组传 感器用于采集被测物体外侧面的三维深度数据。其中,每一组传感器均包括一个投影机和分别位于所述投影机左右两边的两个CCD摄像机,具体如上文所述,此处不再赘述。
测试用计算机,用于控制所述可旋转的支架平台以每次90度的方式旋转4个角度,并在每次旋转之后,将所述第二组传感器和所述第三组传感器采集的三维深度数据均统一到所述第一组传感器所在的坐标系;还用于由被测物体的旋转轴位置与旋转角度获取每次旋转产生的刚体变换,并以该刚体变换作为初始值,将四个角度拍摄的三维深度数据匹配到同一坐标系,并将测量的三维深度数据与CAD模型进行匹配,并比对得到被测物体的相关尺寸。
进一步地,上述可旋转的支架平台上焊接有四支用于支撑被测物体的细柱,以实现无遮挡地获取被测物体底面数据。
进一步地,上述测试用计算机包括:
程序控制模块,用于控制所述可旋转的支架平台进行旋转;
标定模块,用于将被测物体表面粘贴的大量编码标记点结合摄影测量方法计算标记点的空间三维坐标,作为传感器标定的标靶;还用于在每套传感器上建立各自局部坐标系,坐标系原点在传感器的左CCD摄像机上,xyz坐标轴与CCD成像模型坐标轴相同,另加世界坐标系OWXWYWZW,共建立4个坐标系;同时在特定测量空间内,当所述程序控制模块控制所述可旋转的支架平台多角度旋转并平移标靶时,根据三组传感器同时拍摄不同角度的标靶图像,自动提取图像上圆形特征点的亚像素图像坐标,并结合对应的特征点的世界坐标系三维空间坐标来标定每个CCD摄像机的内部参数与外部参数,以及三组传感器各自的结构参数;对世界坐标系OWXWYWZW下的一点X,经标定可获得该点在第一组传感器坐标系O1X1Y1Z1下的坐标为X1=R1X+t1,在第二组传感器坐标系O2X2Y2Z2下的坐标为X2=R2X+t2,在第三组传感器坐标系O3X3T3Z3下的坐标为X3=R3X+t3其中,R1、R2、R3、t1、t2、t3均由标定信息获取,R1、R2、R3分 别表示从世界坐标系到三组传感器坐标系的旋转,t1、t2、t3分别为从世界坐标系到三组传感器坐标系的平移;
第一匹配模块,用于根据以下旋转参数R
21和平移参数t
21将所述第二组传感器采集的三维深度数据统一到所述第一组传感器所在的坐标系:
根据以下旋转参数R
31和平移参数t
31将所述第二组传感器采集的三维深度数据统一到所述第一组传感器所在的坐标系:
上述测试用计算机还包括:
第二匹配模块,用于利用最近点迭代方法,将测量的三维数据与CAD模型匹配起来;
采样模块,用于对CAD模型进行采样;采样原理具体如上文所述,此处不再赘述。
比对模块,用于计算所有采样点到CAD模型的距离,根据每个距离值构造一副伪彩色表面误差分布图像;统计计算的距离数值,用各种颜色的地形图标识出模型的比对误差,包括被测物体的内侧面、外侧面、内底面、外底面;
计算模块,用于计算被测物体的相关尺寸。
下文以石英坩埚为例来具体描述检测过程。
按照上面叙述的步骤,利用图1所示现场布置、图4所示标靶对CCD摄像机及三传感器系统分别进行了标定。获得的测量系统标定参数如下:
(1)传感器1的标定参数:
CCD摄像机1:
畸变系数:[k1k2k3]=[-0.0152-0.03131.0274],[p1p2]=[0.00030.0004];
CCD摄像机2:
畸变系数:[k1k2k3]=[-0.03700.26950.3519],[p1p2]=[0.00020.0045];
传感器1的两CCD结构参数:
(2)传感器2的标定参数:
CCD摄像机3:
畸变系数:[k1k2k3]=[-0.06100.10142.5472],[p1p2]=[-0.0005-0.0003];
CCD摄像机4:
畸变系数:[k1k2k3]=[-0.06970.3266-1.0708],[p1p2]=[-0.00170.0018];
两CCD结构参数:
平移变换:
(3)传感器3的标定参数:
CCD5:
畸变系数:[k1k2k3]=[-0.02620.1867-0.2791],[p1p2]=[-0.00130.0006];
CCD6:
畸变系数:[k1k2k3]=[-0.02350.1289-0.1517],[p1p2]=[-0.0002-0.0015];
两CCD结构参数:
旋转变换:
(4)传感器间位姿关系:
传感器2到1:
传感器3到1:
采用该发明在现场对坩埚进行检测,并生成报表,结果如下:
本发明实施例提供的大型薄壳物体表面的三维检测系统及其检测方法具有以下优点:,第一、实现了多传感器在线测量大尺寸、薄壳、箱状物体三维表面形貌;第二、完成了物体几何尺寸自动测量及与CAD模型的自动比对功能;第三、检测系统测量精度高、测量范围大、数据密度高、可对多种不同物体进行检测;第四、检测系统的集成度高、自动化程度高、测量过程简易。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。