CN109540040B - 基于无约束共心光束族汽车形貌主动视觉检测系统与方法 - Google Patents

基于无约束共心光束族汽车形貌主动视觉检测系统与方法 Download PDF

Info

Publication number
CN109540040B
CN109540040B CN201910032159.4A CN201910032159A CN109540040B CN 109540040 B CN109540040 B CN 109540040B CN 201910032159 A CN201910032159 A CN 201910032159A CN 109540040 B CN109540040 B CN 109540040B
Authority
CN
China
Prior art keywords
laser
dimensional target
camera
points
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910032159.4A
Other languages
English (en)
Other versions
CN109540040A (zh
Inventor
徐观
沈慧
戴建国
苏建
单红梅
张立斌
刘玉梅
潘洪达
林慧英
陈熔
李晓韬
陈芳
陈俊伊
朱尧平
胡常青
袁静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910032159.4A priority Critical patent/CN109540040B/zh
Publication of CN109540040A publication Critical patent/CN109540040A/zh
Application granted granted Critical
Publication of CN109540040B publication Critical patent/CN109540040B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于无约束共心光束族汽车形貌主动视觉检测系统与方法，旨在解决基于无约束共心光束族汽车形貌主动视觉检测问题。基于无约束共心光束族汽车形貌主动视觉检测系统主要由摄像机(1)、三维靶标(2)、激光投线仪(3)、二维靶标(4)、二维靶标底座(5)、连接件(6)与三角架(7)组成。基于无约束共心光束族汽车形貌主动视觉检测方法由图像采集、二维靶标(4)与激光投线仪(3)位姿关系标定、摄像机(1)坐标系下的激光线重建、摄像机(1)坐标系下的汽车特征点重建四个步骤组成，提供了一种结构简单、性能可靠的基于无约束共心光束族汽车形貌主动视觉检测系统与方法。

Description

基于无约束共心光束族汽车形貌主动视觉检测系统与方法
技术领域
本发明涉及一种汽车形貌检测领域的测量设备与测量方法，更具体的说，它是一种基于无约束共心光束族汽车形貌主动视觉检测系统与方法。
背景技术
目前，汽车形貌的检测技术对汽车维修、汽车检测等领域具有重要的研究意义。常见的检测系统主要分为接触式和非接触式。由于接触式测量系统便捷性差、耗时长等问题，非接触式测量系统更为常用。非接触式测量系统是通过应用光学影像或二维切片来进行目标测量。然而，目前系统中所应用的主要为投射激光平面的光学发生器，而激光平面只能与待测物体形成一条激光交线，若进行大范围的目标特征重建或形貌测量，则需要多次移动激光投线仪，过程繁琐、耗时长。因此，如何利用摄像机及激光投线仪方便快捷得进行汽车形貌检测就十分重要。为了实现高效率、高精度的汽车形貌检测，设计了一种基于无约束共心光束族汽车形貌主动视觉检测系统与方法。
发明内容
本发明针对非接触式测量系统的精度问题以及基于面激光测量系统的耗时长、便捷性差等问题，提出了一种基于无约束共心光束族汽车形貌主动视觉检测系统与方法。该方法主要由一部工业摄像机、一个二维靶标、一个与二维靶标相对位置固定不变的激光投线仪、一个二维靶标底座和一个三维靶标构成，以无约束共心光束族为基础，通过随机一致性抽样、激光投影点线性拟合等方法实现激光投线仪与二维标定板相对位置标定，进一步实现汽车形貌主动视觉检测。
结合说明书附图，本发明采用如下技术方案予以实现:
基于无约束共心光束族汽车形貌主动视觉检测系统包括有摄像机、三维靶标、激光投线仪、二维靶标、二维靶标底座、连接件与三角架；
三维靶标放置在水平地面上，二维靶标底座放置在水平地面上，二维靶标底部与二维靶标底座上的凹槽过盈配合连接，二维靶标放置于连接件的内侧长槽中与连接件过盈配合连接，激光投线仪插入到连接件的圆管内孔中，与连接件过盈配合连接，三角架放置在水平地面上，摄像机底部通过三角架顶部的夹紧装置与三角架固定连接。
技术方案中所述的三维靶标为三块矩形钢板焊接而成的立方体零件，三维靶标表面贴有规则几何图案。
技术方案中所述的二维靶标为钢板制成的矩形零件，二维靶标表面贴有LED点阵。
技术方案中所述的二维靶标底座为钢板加工的长方体零件，二维靶标底座的上表面加工有凹槽。
技术方案中所述的连接件由一个矩形钢板加工的截面为U型的壳体和一个圆管焊接而成，
技术方案中所述的激光投线仪为可发射共心光束族的圆柱形零件。
技术方案中所述的摄像机为带有滤光片的广角工业相机，滤光片的带通与激光投线仪、二维靶标的LED点阵的波长一致。
基于无约束光平面的汽车形貌主动视觉检测方法的具体步骤如下：
第一步：基于无约束共心光束族汽车形貌主动视觉检测方法的图像采集：
三角架放置在水平地面上，摄像机固定在三角架顶部，三维靶标放置在摄像机视场范围内的地面上，二维靶标底座放置在摄像机视场范围内的地面上，二维靶标固定在二维靶标底座上，激光投线仪通过连接件固定连接在二维靶标上；
二维靶标在摄像机视野范围内移动m个位置，摄像机采集m幅包含二维靶标的LED特征点的图像；
将二维靶标固定在最后一个位置，在摄像机视野范围内将三维靶标移动n个位置，摄像机采集n幅包含三维靶标特征点的图像；
在三维靶标的n个位置处分别打开激光投线仪，激光投线仪发出的共心光束族与三维靶标交于j个投影点，使用摄像机采集n幅图像，图像包含共心光束族在三维靶标上的j个投影点；
第二步：基于无约束共心光束族汽车形貌主动视觉检测方法的二维靶标与激光投线仪位姿关系标定：
首先，根据摄像机采集的n幅无激光线的图像，采用DLT标定方法对摄像机进行标定，得到三维靶标在n个不同位置时的投影矩阵PiD(i＝1，2，…n)。
PiD＝K[RiC tiC]＝[KRiC KtiC]
然后，对PiD进行RQ分解,分别得到三维靶标在摄像机视野范围内的第i个位置处的旋转矩阵RiD、平移向量tiD及摄像机的内参数矩阵K。
三维靶标坐标系与摄像机坐标系的转换矩阵为
Figure BDA0001944622630000021
当三维靶标位于第i个位置时，该位置处共心光束在三维靶标上的第j个投影点在三维靶标坐标系下的坐标
Figure BDA0001944622630000022
满足
Figure BDA0001944622630000023
其中，
Figure BDA0001944622630000024
为激光投影点的图像坐标，si是尺度因子。可以由上式及图像坐标
Figure BDA0001944622630000025
求解激光投影点在三维靶标坐标系下的坐标
Figure BDA0001944622630000026
根据求得的三维靶标坐标系与摄像机坐标系的坐标转换关系HiC，在摄像机坐标系下激光投影点的坐标为
Figure BDA0001944622630000031
激光投线仪发出的共心光束族中第q条激光线在三维靶标的n个位置处相交形成了n个激光投影点，第q条激光线的n个激光投影点集记为
Figure BDA0001944622630000032
首先假设内点是组成激光线线条模型的数据，野点是不适用于激光线的数据。在第q条光线的激光投影点集中随机选取两个激光投影点作为内点。假定测量误差服从0均值和标准方差σ的高斯分布，因此激光投影点到激光线条模型的距离平方和服从自由度为1的χ2分布，即
Figure BDA0001944622630000033
其中，d为待选激光投影点到激光线条模型的距离平方，t为距离阈值,α为待选激光投影点中被判别为内点的概率。
Figure BDA0001944622630000034
则内点为d2＜t2的点，野点为d2≥t2的点。通常待选激光投影点中被判别为内点的概率α取为0.95，即内点被错误排斥的概率仅为总次数的5％。
当α＝0.95、m＝1时,
Figure BDA0001944622630000035
则
t2＝3.84σ2
即为判别内点的距离阈值。
任意选取的激光投影点为内点的概率为w，则经过N次采样后野点的概率为
(1-w)N＝1-p
其中，p为2个点组成的随机样本中至少有一次没有野点的概率，p可取为0.99。
则采样次数为
N＝log(1-p)/log[1-(1-ε)2]
确定内点所需满足的数目阈值为
T＝(1-ε)n
其中n为激光投影点的总数目，ε＝1-w为激光投影点为野点的概率。
随机选择的激光投影点对组成的激光线模型的支集由模型两侧不超过距离阈值的激光投影点组成，激光线模型的支集由支集内点的数量度量。当从激光投影点集
Figure BDA0001944622630000036
中随机选择两点，根据这两点估计一条激光线模型，该激光线模型的支集由满足距离阈值t范围内的激光投影点的数目来度量。随机采用重复多次，具有最大支集的模型被认为是合理的激光线模型，对应的支集即为第q条激光线的随机一致性抽样点集
Figure BDA0001944622630000037
将各条激光线的随机一致性抽样点集分别进行直线拟合，得到在摄像机坐标系下同心光束族中各激光线的Plücker矩阵Lq。
根据摄像机所采集的二维靶标的图像和张正友标定方法对摄像机进行标定，求取摄像机与二维靶标间的转换矩阵HRC为
Figure BDA0001944622630000041
其中，RRC为摄像机与二维靶标间的旋转矩阵，tRC为摄像机与二维靶标间的平移向量。
第q条激光线在二维靶标坐标系下的Plücker矩阵为
Lq＝(HRC)-1Lq(HRC)-T
根据由两个点表示的激光线与由两个面表示的激光线的对偶变换关系
Figure BDA0001944622630000042
得到在二维靶标坐标系下由面表示的第q条激光线的Plücker矩阵
Figure BDA0001944622630000047
激光投线仪所发出的共心光束族相交于激光投线仪的光心X0，则
Figure BDA0001944622630000043
对于所有k条激光线均通过激光投线仪的光心X0，有
Figure BDA0001944622630000044
对矩阵A应用SVD分解法，求解在二维靶标坐标系下激光投线仪光心的坐标X0。
在摄像机坐标系下激光投线仪的光心坐标Y0为
Y0＝HRCX0
将激光投线仪光心Y0加入第q条激光线的随机一致性抽样点集
Figure BDA0001944622630000045
再次拟合在摄像机坐标系下的激光线Lq，则在二维靶标坐标系下激光线Lq为
Lq＝(HRC)-1Lq(HRC)-T
第三步：基于无约束共心光束族汽车形貌主动视觉检测方法的摄像机坐标系下的激光线重建：
当激光投线仪发出的共心光束族投射到汽车车身上时，根据摄像机所采集的二维靶标的图像和张正友标定方法对摄像机进行标定，求取摄像机与二维靶标间的转换矩阵HRC为
Figure BDA0001944622630000046
其中，RRC为摄像机与二维靶标间的旋转矩阵，tRC为摄像机与二维靶标间的平移向量。
由第二步中已求出的二维靶标坐标系下激光线的坐标Λq和转换矩阵HRC，在摄像机坐标系下由点表示的激光线的Plücker矩阵可以表示为
Lq＝HRCLq(HRC)T
根据由两个点表示的激光线与由两个面表示的激光线的对偶变换关系
Figure BDA0001944622630000051
得到在摄像机坐标系下由面表示的激光线的Plücker矩阵
Figure BDA0001944622630000052
第四步：基于无约束共心光束族汽车形貌主动视觉检测方法的摄像机坐标系下的汽车特征点重建：
激光投线仪所发出的共心光束族中第q条激光线Lq与待测汽车的交点记为
Figure BDA0001944622630000053
从摄像机采集的包含激光线与车身交点的图像中提取激光线与车身交点的图像坐标记为
Figure BDA0001944622630000054
由第二步中得到的摄像机的内参数矩阵K，摄像机坐标系下激光线车身交线点的坐标
Figure BDA0001944622630000055
满足
Figure BDA0001944622630000056
其中，s为比例因子。
由于激光线车身交线点
Figure BDA0001944622630000057
在激光投线仪所发出的激光线
Figure BDA0001944622630000058
上，则
Figure BDA0001944622630000059
对以上两式采用SVD分解方法可以解算激光线车身交线点的三维坐标
Figure BDA00019446226300000510
在汽车形貌重建与检测过程中，第三步、第四步是循环进行的步骤。
本发明的有益效果是：
1.本发明采用了基于无约束共心光束族汽车形貌主动视觉检测方法。首先将二维靶标4与激光投线仪3固定连接，利用三维靶标2、二维靶标4、摄像机1的转换关系，标定激光投线仪3与二维靶标4间的相对位置。再利用激光线在二维靶标4与摄像机1间的转换关系，对摄像机1坐标系下激光线的坐标进行重建。通过奇异值分解即可重建汽车形貌特征点。最终在无运动约束的条件下，通过移动二维靶标4及固定在其上的激光投线仪3位置即可实现对汽车形貌全局的三维重建。
2.本发明在求解拟合激光线的坐标时，利用随机一致性抽样法来对同一条激光线的激光投影点备选点集进行随机抽样，为拟合出较高精度的激光线提供随机一致性抽样点集，有效避免了由于测量工具、人为因素等造成的结果误差。在激光投影点的测量过程存在误差的条件下，也可实现高精度激光线的拟合，益于对目标物体实现高精度重建。
3.本发明采用移动三维靶标的方式获得了共心光束族中每条激光线的激光交点点集，根据Graβmann–Plücker关系及Plücker矩阵特性，解算了激光器发出的共心光束族的光心坐标，将光心坐标加入激光线的激光投影点备选点集，利用随机一致性抽样法进行二次随机抽样，获得了高精度的激光线拟合结果。
4.本发明的汽车形貌检测系统涉及的激光投线仪3、二维靶标4、摄像机1等零部件之间不存在严格位置约束，为制造和检测过程增加了便捷性。同时可以通过主观判断变换二维靶标4与待测汽车的相对位置关系，以寻找最佳的视角去获取相应的激光投影点重建目标，即实现对汽车形貌全局的自由重建。
附图说明
图1是基于无约束共心光束族汽车形貌主动视觉检测系统的标定示意图；
图2是基于无约束共心光束族汽车形貌主动视觉检测系统的重建示意图；
图3是基于无约束共心光束族汽车形貌主动视觉检测系统中摄像机1的轴测图；
图4是基于无约束共心光束族汽车形貌主动视觉检测系统中激光投线仪3的轴测图；
图5是基于无约束共心光束族汽车形貌主动视觉检测系统中二维靶标底座5的轴测图；
图6是基于无约束共心光束族汽车形貌主动视觉检测系统中连接件6的轴测图；
图7是基于无约束共心光束族汽车形貌主动视觉检测系统中三角架7的轴测图；
图8是基于无约束共心光束族汽车形貌主动视觉检测系统中标定过程的流程图；
图9是基于无约束共心光束族汽车形貌主动视觉检测系统中RANSAC随机一致性抽样的流程图；
图10是基于无约束共心光束族汽车形貌主动视觉检测系统中重建过程的流程图；
图中：1.摄像机，2.三维靶标，3.激光投线仪，4.二维靶标，5.二维靶标底座，6.连接件，7.三角架。
具体实施方式
下面结合附图对本发明作进一步的详细描述:
参阅图1至图7，基于无约束共心光束族汽车形貌主动视觉检测系统包括有摄像机1、三维靶标2、激光投线仪3、二维靶标4、二维靶标底座5、连接件6与三角架7。
三维靶标2为三块矩形钢板焊接而成的立方体零件，三维靶标2表面贴有规则几何图案，三维靶标2放置在水平地面上。二维靶标4为钢板制成的矩形零件，二维靶标4表面贴有LED点阵。二维靶标底座5为钢板加工的长方体零件，二维靶标底座5的上表面加工有凹槽。二维靶标底座5放置在水平地面上，二维靶标4底部与二维靶标底座5上的凹槽过盈配合连接。连接件6由一个矩形钢板加工的截面为U型的壳体和一个圆管焊接而成，二维靶标4放置于连接件6的内侧长槽中与连接件6过盈配合连接。激光投线仪3为可发射共心光束族的圆柱形零件，激光投线仪3插入到连接件6的圆管内孔中，与连接件6过盈配合连接。摄像机1为带有滤光片的广角工业相机，滤光片的带通与激光投线仪3、二维靶标4的LED点阵的波长一致，三角架7放置在水平地面上，摄像机1底部通过三角架7顶部的夹紧装置与三角架7固定连接。
参阅图8至图10，本发明所提供的基于无约束共心光束族汽车形貌主动视觉检测方法可分为以下四步：
第一步：基于无约束共心光束族汽车形貌主动视觉检测方法的图像采集：
三角架7放置在水平地面上，摄像机1固定在三角架7顶部，三维靶标2放置在摄像机1视场范围内的地面上，二维靶标底座5放置在摄像机1视场范围内的地面上，二维靶标4固定在二维靶标底座5上，激光投线仪3通过连接件6固定连接在二维靶标4上；
二维靶标4在摄像机1视野范围内移动m个位置，摄像机1采集m幅包含二维靶标4的LED特征点的图像；
将二维靶标4固定在最后一个位置，在摄像机1视野范围内将三维靶标2移动n个位置，摄像机1采集n幅包含三维靶标2特征点的图像；
在三维靶标2的n个位置处分别打开激光投线仪3，激光投线仪3发出的共心光束族与三维靶标2交于j个投影点，使用摄像机1采集n幅图像，图像包含共心光束族在三维靶标2上的j个投影点；
第二步：基于无约束共心光束族汽车形貌主动视觉检测方法的二维靶标4与激光投线仪3位姿关系标定：
首先，根据摄像机1采集的n幅无激光线的图像，采用DLT标定方法对摄像机1进行标定，得到三维靶标2在n个不同位置时的投影矩阵PiD(i＝1，2，…n)。
PiD＝K[RiCtiC]＝[KRiCKtiC]
然后，对PiD进行RQ分解,分别得到三维靶标2在摄像机1视野范围内的第i个位置处的旋转矩阵RiD、平移向量tiD及摄像机1的内参数矩阵K。
三维靶标2坐标系与摄像机1坐标系的转换矩阵为
Figure BDA0001944622630000071
当三维靶标2位于第i个位置时，该位置处共心光束在三维靶标2上的第j个投影点在三维靶标2坐标系下的坐标
Figure BDA0001944622630000072
满足
Figure BDA0001944622630000073
其中，
Figure BDA0001944622630000074
为激光投影点的图像坐标，si是尺度因子。由于激光投影点一定位于三维靶标2的某个平面上，因此会存在一个坐标为0，例如激光投影点
Figure BDA0001944622630000075
若位于三维靶标2的O-XZ平面上，则
Figure BDA0001944622630000076
可以由上式及图像坐标
Figure BDA0001944622630000077
求解激光投影点在三维靶标2坐标系下的坐标
Figure BDA0001944622630000078
根据求得的三维靶标2坐标系与摄像机1坐标系的坐标转换关系HiC，在摄像机1坐标系下激光投影点的坐标为
Figure BDA0001944622630000081
激光投线仪3发出的共心光束族中第q条激光线在三维靶标2的n个位置处所形成的n个激光投影点，形成第q条激光线的激光投影点集
Figure BDA0001944622630000082
由于测量仪器的精度不完善和人为因素及外界条件的影响，测量误差总是不可避免的，因此对摄像机1坐标系下的备选激光投影点集应用RANSAC算法进行随机一致性抽样，使之拟合出较高精度的激光线。
RANSAC算法通过迭代方式从第q条激光线的激光投影点集中，估计激光线的参数，首先假设内点是组成激光线线条模型的数据，野点是不适用于激光线的数据。在第q条光线的激光投影点集中随机选取两个激光投影点作为内点，通过Hartley方法，确定距离阈值t、采样次数N和数目阈值T。选取的距离阈值t使激光投影点为内点的概率为α，该计算需要知道内点到激光线条模型的距离的概率分布。假定测量误差服从0均值和标准方差σ的高斯分布，因此激光投影点到激光线条模型的距离平方和服从自由度为1的χ2分布，即
Figure BDA0001944622630000083
其中，d为待选激光投影点到激光线条模型的距离平方，t为距离阈值,α为待选激光投影点中被判别为内点的概率。
Figure BDA0001944622630000084
则且内点为d2＜t2的点，野点为d2≥t2的点。通常待选激光投影点中被判别为内点的概率α取为0.95，它表明内点被错误排斥的概率仅为总次数的5％。当α＝0.95，m＝1时,
Figure BDA0001944622630000085
则
t2＝3.84σ2
即可得到判别内点的距离阈值。
由于两点确定一条直线，因此确定激光线条模型的最小数据集为2。当采样次数为N，假定w为任意选取的激光投影点为内点的概率，则ε＝1-w是激光投影点为野点的概率。那么经过N次采样后野点的概率为
(1-w)N＝1-p
其中，N为采样次数，p为2个点组成的随机样本中至少有一次没有野点的概率，p通常取为0.99。
根据上式确定的采样次数为
N＝log(1-p)/log[1-(1-ε)2]
由于p为常数，因此采样次数与野点所占比例有关，与野点本身数目无关。这表明即使在激光投影点中野点数目较大，经过多次采样迭代后仍可获得合理的激光线模型。
最后需要确定内点所需满足的数目阈值T，在给定野点的假定比例ε后，数目阈值为
T＝(1-ε)n
其中n为激光投影点的总数目，ε为激光投影点为野点的概率。
上述过程解决了RANSAC算法中存在的将激光投影点数据判别为内点和野点的距离阈值t、采样次数N以及判别为合理模型时内点所需满足的数目阈值T等问题。
在RANSAC算法中随机选择的激光投影点对组成的激光线模型的支集由模型两侧不超过距离阈值的激光投影点组成，激光线模型的支集由支集内点的数量度量。当从激光投影点集中随机选择两点，根据这两点估计一个激光线模型，该激光线模型的支集由满足距离阈值t范围内的激光投影点的数目来度量。随机选择重复多次，具有最大支集的模型被认为是合理的激光线模型，对应的支集即为第q条激光线的随机一致性抽样点集
Figure BDA0001944622630000091
将各条激光线的随机一致性抽样点集分别进行直线拟合，即得到摄像机1坐标系下同心光束族中各激光线的Plücker矩阵Lq。根据二维靶标4与摄像机1之间的转换矩阵HRC,第q条激光线在二维靶标4坐标系下的Plücker矩阵为
Lq＝(HRC)-1Lq(HRC)-T
根据由两个点表示的激光线与由两个面表示的激光线的对偶变换关系
Figure BDA0001944622630000092
得到在二维靶标4坐标系下由面表示的第q条激光线的Plücker矩阵
Figure BDA0001944622630000096
由于激光投线仪3所发出的共心光束族相交于激光投线仪3的光心X0，则
Figure BDA0001944622630000093
由于所有k条激光线均通过激光投线仪3的光心X0，有
Figure BDA0001944622630000094
对矩阵A应用SVD分解法，可求解在二维靶标4坐标系下激光投线仪3光心的坐标X0。即完成激光投线仪3与二维靶标4相对位置的标定。
在检测过程中，激光投线仪3与二维靶标4相对位置不发生变化。根据二维靶标4与摄像机1之间的转换矩阵HRC，得到在摄像机1坐标系下激光投线仪3的光心坐标Y0
Y0＝HRCX0
将激光投线仪光心Y0加入激光线的随机一致性抽样点集
Figure BDA0001944622630000095
再次拟合在摄像机1坐标系下的激光线Lq，则在二维靶标4坐标系下激光线Lq为
Lq＝(HRC)-1Lq(HRC)-T
第三步：基于无约束共心光束族汽车形貌主动视觉检测方法的摄像机1坐标系下的激光线重建：
当激光投线仪3发出的共心光束族投射到汽车车身上时，根据摄像机1所采集的二维靶标4的图像和张正友标定方法，对摄像机1进行标定，求取摄像机1与二维靶标4间的转换矩阵HRC
Figure BDA0001944622630000101
其中，RRC为摄像机1与二维靶标4间的旋转矩阵，tRC为摄像机1与二维靶标4间的平移向量。
二维靶标4坐标系下激光线的坐标Λq在第二步中已求出，则摄像机1坐标系下由点表示的激光线的Plücker矩阵可以表示为
Lq＝HRCLq(HRC)T
根据由两个点表示的激光线与由两个面表示的激光线的对偶变换关系
Figure BDA0001944622630000102
得到在摄像机1坐标系下由面表示的激光线的Plücker矩阵
Figure BDA0001944622630000103
第四步：基于无约束共心光束族汽车形貌主动视觉检测方法的摄像机1坐标系下的汽车特征点重建：
令激光投线仪3所发出的共心光束族中第q条激光线Lq与待测汽车的交点为
Figure BDA0001944622630000104
利用摄像机1采集的包含激光线与车身交点的图像，可以提取激光线车身交点的图像坐标
Figure BDA0001944622630000105
根据第二步中利用DLT对三维靶标2进行标定时得到的摄像机1的内参数K，得到摄像机1坐标系下激光线车身交线点的坐标
Figure BDA0001944622630000106
满足
Figure BDA0001944622630000107
其中，s为比例因子。
由于激光线车身交线点
Figure BDA0001944622630000108
在激光投线仪3所发出的激光线
Figure BDA0001944622630000109
上，则
Figure BDA00019446226300001010
对以上两式采用SVD分解方法可以解算激光线车身交线点的三维坐标
Figure BDA00019446226300001011
在汽车形貌重建与检测过程中，第三步、第四步是循环进行的步骤。
通过在摄像机1视野范围内移动二维靶标4及与其固定连接的激光投线仪3的位置，即可获得在其他位置的同心激光束与汽车车身的激光交线点，从而确定在摄像机1坐标系下汽车形貌特征点的坐标，完成基于无约束共心光束族汽车形貌主动视觉检测。

Claims (7)

1.一种基于无约束共心光束族汽车形貌主动视觉检测方法，其特征在于，所述的基于无约束共心光束族汽车形貌主动视觉检测方法包括有摄像机(1)、三维靶标(2)、激光投线仪(3)、二维靶标(4)、二维靶标底座(5)、连接件(6)与三角架(7)；
三维靶标(2)放置在水平地面上，二维靶标底座(5)放置在水平地面上，二维靶标(4)底部与二维靶标底座(5)上的凹槽过盈配合连接，二维靶标(4)放置于连接件(6)的内侧长槽中与连接件(6)过盈配合连接，激光投线仪(3)插入到连接件(6)的圆管内孔中，与连接件(6)过盈配合连接，三角架(7)放置在水平地面上，摄像机(1)底部通过三角架(7)顶部的夹紧装置与三角架(7)固定连接；
具体步骤如下：
第一步：基于无约束共心光束族汽车形貌主动视觉检测方法的图像采集：
三角架(7)放置在水平地面上，摄像机(1)固定在三角架(7)顶部，三维靶标(2)放置在摄像机(1)视场范围内的地面上，二维靶标底座(5)放置在摄像机(1)视场范围内的地面上，二维靶标(4)固定在二维靶标底座(5)上，激光投线仪(3)通过连接件(6)固定连接在二维靶标(4)上；
二维靶标(4)在摄像机(1)视野范围内移动m个位置，摄像机(1)采集m幅包含二维靶标(4)的LED特征点的图像；
将二维靶标(4)固定在最后一个位置，在摄像机(1)视野范围内将三维靶标(2)移动n个位置，摄像机(1)采集n幅包含三维靶标(2)特征点的图像；
在三维靶标(2)的n个位置处分别打开激光投线仪(3)，激光投线仪(3)发出的共心光束族与三维靶标(2)交于j个投影点，使用摄像机(1)采集n幅图像，图像包含共心光束族在三维靶标(2)上的j个投影点；
第二步：基于无约束共心光束族汽车形貌主动视觉检测方法的二维靶标(4)与激光投线仪(3)位姿关系标定：
首先，根据摄像机(1)采集的n幅无激光线的图像，采用DLT标定方法对摄像机(1)进行标定，得到三维靶标(2)在n个不同位置时的投影矩阵PiD(i＝1，2，…n)；
PiD＝K[RiCtiC]＝[KRiC KtiC]
然后，对PiD进行RQ分解,分别得到三维靶标(2)在摄像机(1)视野范围内的第i个位置处的旋转矩阵RiD、平移向量tiD及摄像机(1)的内参数矩阵K；
三维靶标(2)坐标系与摄像机(1)坐标系的转换矩阵为
Figure FDA0002356477790000021
当三维靶标(2)位于第i个位置时，该位置处共心光束在三维靶标(2)上的第j个投影点在三维靶标(2)坐标系下的坐标
Figure FDA0002356477790000022
满足
Figure FDA0002356477790000023
其中，
Figure FDA0002356477790000024
为激光投影点的图像坐标，si是尺度因子，可以由上式及图像坐标
Figure FDA0002356477790000025
求解激光投影点在三维靶标(2)坐标系下的坐标
Figure FDA0002356477790000026
根据求得的三维靶标(2)坐标系与摄像机(1)坐标系的坐标转换关系HiC，在摄像机(1)坐标系下激光投影点的坐标为
Figure FDA0002356477790000027
激光投线仪(3)发出的共心光束族中第q条激光线在三维靶标(2)的n个位置处相交形成了n个激光投影点，第q条激光线的n个激光投影点集记为
Figure FDA0002356477790000028
首先假设内点是组成激光线线条模型的数据，野点是不适用于激光线的数据，在第q条光线的激光投影点集中随机选取两个激光投影点作为内点，假定测量误差服从0均值和标准方差σ的高斯分布，因此激光投影点到激光线条模型的距离平方和服从自由度为1的χ2分布，即
Figure FDA0002356477790000029
其中，d为待选激光投影点到激光线条模型的距离平方，t为距离阈值,α为待选激光投影点中被判别为内点的概率，
Figure FDA00023564777900000210
则内点为d2＜t2的点，野点为d2≥t2的点，通常待选激光投影点中被判别为内点的概率α取为0.95，即内点被错误排斥的概率仅为总次数的5％；
当α＝0.95、m＝1时,
Figure FDA00023564777900000211
则
t2＝3.84σ2
即为判别内点的距离阈值；
任意选取的激光投影点为内点的概率为w，则经过N次采样后野点的概率为(1-w)N＝1-p
其中，p为2个点组成的随机样本中至少有一次没有野点的概率，p可取为0.99；
则采样次数为
N＝log(1-p)/log[1-(1-ε)2]
确定内点所需满足的数目阈值为
T＝(1-ε)n
其中n为激光投影点的总数目，ε＝1-w为激光投影点为野点的概率；
随机选择的激光投影点对组成的激光线模型的支集由模型两侧不超过距离阈值的激光投影点组成，激光线模型的支集由支集内点的数量度量，当从激光投影点集
Figure FDA0002356477790000031
中随机选择两点，根据这两点估计一条激光线模型，该激光线模型的支集由满足距离阈值t范围内的激光投影点的数目来度量，随机采用重复多次，具有最大支集的模型被认为是合理的激光线模型，对应的支集即为第q条激光线的随机一致性抽样点集
Figure FDA0002356477790000032
将各条激光线的随机一致性抽样点集分别进行直线拟合，得到在摄像机(1)坐标系下同心光束族中各激光线的Plücker矩阵Lq；
根据摄像机(1)所采集的二维靶标(4)的图像和张正友标定方法对摄像机(1)进行标定，求取摄像机(1)与二维靶标(4)间的转换矩阵HRC为
Figure FDA0002356477790000033
其中，RRC为摄像机(1)与二维靶标(4)间的旋转矩阵，tRC为摄像机(1)与二维靶标(4)间的平移向量；
第q条激光线在二维靶标(4)坐标系下的Plücker矩阵为
Lq＝(HRC)-1Lq(HRC)-T
根据由两个点表示的激光线与由两个面表示的激光线的对偶变换关系
Figure FDA0002356477790000034
得到在二维靶标(4)坐标系下由面表示的第q条激光线的Plücker矩阵
Figure FDA0002356477790000035
激光投线仪(3)所发出的共心光束族相交于激光投线仪(3)的光心X0，则
Figure FDA0002356477790000036
对于所有k条激光线均通过激光投线仪(3)的光心X0，有
Figure FDA0002356477790000037
对矩阵A应用SVD分解法，求解在二维靶标(4)坐标系下激光投线仪(3)光心的坐标X0；
在摄像机(1)坐标系下激光投线仪(3)的光心坐标Y0为
Y0＝HRCX0
将激光投线仪(3)光心Y0加入第q条激光线的随机一致性抽样点集
Figure FDA0002356477790000038
再次拟合在摄像机(1)坐标系下的激光线Lq，则在二维靶标(4)坐标系下激光线Lq为
Lq＝(HRC)-1Lq(HRC)-T
第三步：基于无约束共心光束族汽车形貌主动视觉检测方法的摄像机(1)坐标系下的激光线重建：
当激光投线仪(3)发出的共心光束族投射到汽车车身上时，根据摄像机(1)所采集的二维靶标(4)的图像和张正友标定方法对摄像机(1)进行标定，求取摄像机(1)与二维靶标(4)间的转换矩阵HRC为
Figure FDA0002356477790000041
其中，RRC为摄像机(1)与二维靶标(4)间的旋转矩阵，tRC为摄像机(1)与二维靶标(4)间的平移向量；
由第二步中已求出的二维靶标(4)坐标系下激光线的坐标Λq和转换矩阵HRC，在摄像机(1)坐标系下由点表示的激光线的Plücker矩阵可以表示为
Lq＝HRCLq(HRC)T
根据由两个点表示的激光线与由两个面表示的激光线的对偶变换关系
Figure FDA0002356477790000042
得到在摄像机(1)坐标系下由面表示的激光线的Plücker矩阵
Figure FDA0002356477790000043
第四步：基于无约束共心光束族汽车形貌主动视觉检测方法的摄像机(1)坐标系下的汽车特征点重建：
激光投线仪(3)所发出的共心光束族中第q条激光线Lq与待测汽车的交点记为
Figure FDA0002356477790000044
从摄像机(1)采集的包含激光线与车身交点的图像中提取激光线与车身交点的图像坐标记为
Figure FDA0002356477790000045
由第二步中得到的摄像机(1)的内参数矩阵K，摄像机(1)坐标系下激光线车身交线点的坐标
Figure FDA0002356477790000046
满足
Figure FDA0002356477790000047
其中，s为比例因子；
由于激光线车身交线点
Figure FDA0002356477790000048
在激光投线仪(3)所发出的激光线
Figure FDA0002356477790000049
上，则
Figure FDA00023564777900000410
对以上两式采用SVD分解方法可以解算激光线车身交线点的三维坐标
Figure FDA00023564777900000411
在汽车形貌重建与检测过程中，第三步、第四步是循环进行的步骤。
2.按照权利要求1所述的基于无约束共心光束族汽车形貌主动视觉检测方法，其特征在于所述的摄像机(1)为带有滤光片的广角工业相机，滤光片的带通与激光投线仪(3)、二维靶标(4)的LED点阵的波长一致。
3.按照权利要求1所述的基于无约束共心光束族汽车形貌主动视觉检测方法，其特征在于所述的三维靶标(2)为三块矩形钢板焊接而成的立方体零件，三维靶标(2)表面贴有规则几何图案。
4.按照权利要求1所述的基于无约束共心光束族汽车形貌主动视觉检测方法，其特征在于所述的激光投线仪(3)为可发射共心光束族的圆柱形零件。
5.按照权利要求1所述的基于无约束共心光束族汽车形貌主动视觉检测方法，其特征在于所述的二维靶标(4)为钢板制成的矩形零件，二维靶标(4)表面贴有LED点阵。
6.按照权利要求1所述的基于无约束共心光束族汽车形貌主动视觉检测方法，其特征在于所述的二维靶标底座(5)为钢板加工的长方体零件，二维靶标底座(5)的上表面加工有凹槽。
7.按照权利要求1所述的基于无约束共心光束族汽车形貌主动视觉检测方法，其特征在于所述的连接件(6)由一个矩形钢板加工的截面为U型的壳体和一个圆管焊接而成。
CN201910032159.4A 2019-01-14 2019-01-14 基于无约束共心光束族汽车形貌主动视觉检测系统与方法 Expired - Fee Related CN109540040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910032159.4A CN109540040B (zh) 2019-01-14 2019-01-14 基于无约束共心光束族汽车形貌主动视觉检测系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910032159.4A CN109540040B (zh) 2019-01-14 2019-01-14 基于无约束共心光束族汽车形貌主动视觉检测系统与方法

Publications (2)

Publication Number Publication Date
CN109540040A CN109540040A (zh) 2019-03-29
CN109540040B true CN109540040B (zh) 2020-05-01

Family

ID=65835477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910032159.4A Expired - Fee Related CN109540040B (zh) 2019-01-14 2019-01-14 基于无约束共心光束族汽车形貌主动视觉检测系统与方法

Country Status (1)

Country Link
CN (1) CN109540040B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396660B (zh) * 2019-08-12 2024-01-09 华为云计算技术有限公司 一种摄像机光心的确定方法及系统
CN111380480B (zh) * 2019-12-31 2024-06-07 吉林大学 基于三角形阵列仿射不变量的汽车形貌重建系统与方法
CN111174724B (zh) * 2019-12-31 2024-06-07 吉林大学 基于一维参考物的汽车特征点视觉重建系统与方法
CN112288743B (zh) * 2020-11-22 2024-02-13 吉林大学 基于无约束光平面的汽车视觉检测误差评价方法与系统
CN112381892B (zh) * 2020-12-09 2024-01-30 吉林大学 无约束共心光束族的汽车视觉检测误差评价方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980528A (zh) * 2012-11-21 2013-03-20 上海交通大学 无位姿约束线激光单目视觉三维测量传感器参数标定方法
CN104019751A (zh) * 2014-06-25 2014-09-03 吉林大学 汽车形貌主动视觉测量的激光扫描平面三维标定靶标
CN105698699A (zh) * 2016-01-26 2016-06-22 大连理工大学 一种基于时间转轴约束的双目视觉测量方法
US9488469B1 (en) * 2013-04-22 2016-11-08 Cognex Corporation System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor
CN106225720A (zh) * 2016-09-07 2016-12-14 吉林大学 基于三维直角坐标的汽车形貌无运动约束检测仪
CN209399945U (zh) * 2019-01-14 2019-09-17 吉林大学 基于无约束共心光束族汽车形貌主动视觉检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980528A (zh) * 2012-11-21 2013-03-20 上海交通大学 无位姿约束线激光单目视觉三维测量传感器参数标定方法
US9488469B1 (en) * 2013-04-22 2016-11-08 Cognex Corporation System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor
CN104019751A (zh) * 2014-06-25 2014-09-03 吉林大学 汽车形貌主动视觉测量的激光扫描平面三维标定靶标
CN105698699A (zh) * 2016-01-26 2016-06-22 大连理工大学 一种基于时间转轴约束的双目视觉测量方法
CN106225720A (zh) * 2016-09-07 2016-12-14 吉林大学 基于三维直角坐标的汽车形貌无运动约束检测仪
CN209399945U (zh) * 2019-01-14 2019-09-17 吉林大学 基于无约束共心光束族汽车形貌主动视觉检测系统

Also Published As

Publication number Publication date
CN109540040A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109540040B (zh) 基于无约束共心光束族汽车形貌主动视觉检测系统与方法
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
CN109520436B (zh) 一种基于机器视觉的蝶形弹簧三维尺寸自动测量系统及其测量方法
CN107481284A (zh) 目标物跟踪轨迹精度测量的方法、装置、终端及系统
CN101299270B (zh) 三维扫描系统中的多个摄像机同步快速标定方法
US20170160077A1 (en) Method of inspecting an object with a vision probe
JP7037876B2 (ja) 自動工業検査における３ｄビジョンの使用
US8103376B2 (en) System and method for the on-machine 2-D contour measurement
US20080243416A1 (en) Global calibration for stereo vision probe
Albarelli et al. Robust camera calibration using inaccurate targets
CN111815503B (zh) 一种基于线激光扫描的螺柱特征参数测量方法
CN107167073A (zh) 一种线阵结构光三维快速测量装置及其测量方法
CN110146017B (zh) 工业机器人重复定位精度测量方法
JP7353757B2 (ja) アーチファクトを測定するための方法
Senin et al. Characterisation of individual areal features
CN111539446A (zh) 一种基于模板匹配的2d激光孔位检测方法
CN112161598B (zh) 一种检测设备的检测方法及检测装置
Liu et al. Outdoor camera calibration method for a GPS & camera based surveillance system
WO2023060717A1 (zh) 一种物体表面高精度定位方法及系统
CN113048949A (zh) 一种基于线结构光学视觉的圆柱状物体位姿检测装置及方法
CN110634162A (zh) 基于同心圆的结构光视觉传感器标定方法
Viswanath et al. A simplified error model for height estimation using a single camera
CN212515901U (zh) 目标物体多视角图像采集与观测角度自动标记装置
CN113510536B (zh) 一种加工中心的在机检测装置和方法
CN115294181B (zh) 基于两阶段关键点定位的奶牛体型评定指标测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200501

Termination date: 20220114