CN102788559B - 一种宽视场结构光视觉测量系统及测量方法 - Google Patents

一种宽视场结构光视觉测量系统及测量方法 Download PDF

Info

Publication number
CN102788559B
CN102788559B CN201210251197.7A CN201210251197A CN102788559B CN 102788559 B CN102788559 B CN 102788559B CN 201210251197 A CN201210251197 A CN 201210251197A CN 102788559 B CN102788559 B CN 102788559B
Authority
CN
China
Prior art keywords
video camera
target
virtual video
structured light
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210251197.7A
Other languages
English (en)
Other versions
CN102788559A (zh
Inventor
周富强
彭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201210251197.7A priority Critical patent/CN102788559B/zh
Publication of CN102788559A publication Critical patent/CN102788559A/zh
Application granted granted Critical
Publication of CN102788559B publication Critical patent/CN102788559B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于测量技术领域,将提供一种宽视场结构光视觉测量系统和测量方法。本发明测量系统由宽视场结构光视觉传感器7、计算机、标定靶标8和9组成,其中宽视场结构光视觉传感器7包括摄像机1,正四棱锥反射镜2和四个结构光投射器3、4、5和6。本发明方法通过多个线结构光投射器拼接的方式向宽视场场景物体投射结构光,在被测物体表面形成变形结构光条,结构光条经过正四棱锥反射镜2反射后被摄像机1接收,所成图像由计算机进行采集,并由计算机对采集图像进行处理,提取出结构光条中心线的图像坐标,根据测量模型,计算出被测物体表面光条点的三维坐标,获得宽视场场景信息。本发明采用正四棱锥反射镜反射成像,扩大了摄像机的视场范围,并将其与结构光视觉测量技术相结合,实现宽视场场景信息三维感知测量。

Description

一种宽视场结构光视觉测量系统及测量方法
技术领域
本发明属于测量技术领域,涉及一种宽视场结构光视觉测量系统及测量方法。
背景技术
在视觉三维测量中,宽视场场景信息的视觉三维感知测量具有代表性,是提高机器人自主导引时对更广泛未知环境信息的三维感知能力的最有效手段,如通过配置机载视觉三维测量系统,增强机器人获取不确定环境的三维信息的能力,从而提高机器人在科学研究和工业应用中的自主性和灵活性,使得机器人能够工作在恶劣环境或者不适合人长时间工作的环境下,例如检测水利电站的堤坝表面状态、管道内壁的形貌状态,以及深空探测中的未知环境三维信息获取等。
传统的结构光三维视觉测量基于光学三角法,直接采用由摄像机、结构光投射器和被测物构成三角关系,具有非接触、动态响应快、系统柔性好和精度适中等优点,在现代工业中广泛应用于生产过程的监控和测量,已成为许多在线问题最有效的解决途径。
但是,传统的摄像机模型建立在一百多年前设计制造的第一种针孔照相机的基础上,其目的是为了获取图像并在照片上显影而不是为了识别图案,机器导航或者监视任务,结构简单,视场范围过小,因此,基于传统摄像机构建的结构光视觉测量系统测量范围受限,无法满足宽视场结构光三维视觉测量任务需求。
发明内容
本发明的技术解决问题是:提供一种宽视场结构光视觉测量系统和测量方法,本发明所说的宽视场结构光视觉测量系统由宽视场结构光视觉传感器、计算机和标定靶标组成。宽视场结构光视觉传感器由摄像机,正四棱锥反射镜和四个结构光投射器组成。标定靶标包括一个平面靶标和一个准三维靶标。通过多结构光投射器拼接的方式向宽视场场景物体投射结构光,在被测物体表面形成变形结构光条,光条经过正四棱锥反射镜反射后进入摄像机成像,获得宽视场场景图像。根据宽视场结构光视觉测量系统的数学模型,通过光条点的图像坐标,计算出光条点的测量三维坐标,即被测物的表面三维数据,从而获得宽视场场景信息。通过正四棱锥反射镜的反射成像,扩大了摄像机的视场范围,与多结构光投射器相结合,为宽视场的视觉三维感知测量提供一种有效的技术途径。
本发明的技术解决方案为:一种宽视场结构光视觉测量系统及测量方法,其特征在于:
1、一种宽视场结构光视觉测量系统,其特征在于,
1.1、它由宽视场结构光视觉传感器7、计算机和标定靶标8和9组成,其中宽视场结构光视觉传感器7包括摄像机1,正四棱锥反射镜2,结构光投射器3、结构光投射器4、结构光投射器5和结构光投射器6;正四棱锥反射镜2倒立放置在摄像机1的正前方;线结构光投射器3、线结构光投射器4、线结构光投射器5和线结构光投射器6向四周宽视场场景内的被测物体投射结构光平面,在被测物体表面形成变形结构光条,光条经过四棱锥反射镜2反射后被摄像机1接收;
1.2、所说的二维标定靶标8为一个二维平面靶标,靶标上有预先设置的特征点,在靶标平面上布置成矩阵排列的圆,圆的数量为100~169个,其中有四个标志圆,任意三个标志圆均不共线,非标志圆的直径为9mm,标志圆直径为15mm,圆的直径精度为0.001mm,相邻两圆心的距离为15mm,其精度为0.001mm,选取靶面上圆的圆心作为特征点,特征点数量为100~169个;所说的准三维标定靶标9由两个平面靶标8组成,夹角90°~120°,两靶标平面所确定的世界坐标系之间空间位置关系已知。
2、使用如权利要求1所述的宽视场结构光视觉测量系统进行宽视场场景信息三维感知测量的方法,其特征在于,实施过程分为标定阶段和测量阶段,进行一次标定即可连续测量,具体步骤如下:
2.1、标定阶段:
2.1.1、调整正四棱锥反射镜2和摄像机1的相对位置,使摄像机1拍摄到的二维图像被均匀地划分为四个象限;调整摄像机镜头焦距,保证在正四棱锥的四周反射光路方向上距离摄像机400~450mm范围内的物体所成图像较为清晰;调整结构光投射器3、结构光投射器4、结构光投射器5和结构光投射器6,保证结构光投射到摄像机视场范围内;通过正四棱锥反射成像相当于四个虚拟摄像机从四个不同角度进行拍摄,称为虚拟摄像机1、虚拟摄像机2、虚拟摄像机3和虚拟摄像机4,四个虚拟摄像机与四个结构光投射器一一对应,形成四个结构光传感器;
2.1.2、标定四个结构光传感器参数,具体步骤如下:
步骤一,在每个虚拟摄像机的视场范围内,非平行自由移动靶标8至少五个位置,每移动一个位置拍摄一幅靶标图像,靶标上四个标志圆应该包含在拍摄图像内,提取特征点的图像坐标,并与其世界坐标对应,标定各虚拟摄像机内部参数,包括有效焦距、主点以及畸变系数;
步骤二,在每个虚拟摄像机的视场范围内,打开对应的结构光投射器电源,自由移动靶标8至少两次,并保证投射光条经过靶标8的特征区域,每移动一个位置拍摄一幅图像,靶标上四个标志圆应该包含在拍摄图像内,提取靶标上特征点的图像坐标,并与其世界坐标对应,计算靶标平面与图像平面之间的单应矩阵;提取投射在靶标8上的直线光条中心点的图像坐标,根据靶标平面与图像平面之间的单应矩阵,计算光条中心点的三维坐标,进而拟合出各虚拟摄像机坐标系下对应光平面的空间方程;
2.1.3、标定各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量,具体步骤如下:
步骤一,将靶标9放置在虚拟摄像机1和虚拟摄像机2之间,保证一个靶标面在虚拟摄像机1的视场范围内,另一个靶标面在虚拟摄像机2的视场范围内,拍摄一幅图像,两个靶标面上的四个标志圆都应该包含在图像内;提取图像中两靶标面上特征点的图像坐标,并与各自的世界坐标对应,计算虚拟摄像机1和虚拟摄像机2的摄像机坐标系与各自对应的世界坐标系之间的旋转矩阵和平移矢量;根据靶标9上两个靶标面所确定的两个世界坐标系之间的旋转矩阵和平移矢量,计算虚拟摄像机1和虚拟摄像机2的摄像机坐标系之间的旋转矩阵和平移矢量;
步骤二,将靶标9依次放置在虚拟摄像机2和虚拟摄像机3之间、虚拟摄像机3和虚拟摄像机4之间,采用步骤一的方法,计算相邻两摄像机坐标系之间的旋转矩阵和平移矢量;
步骤三,选取虚拟摄像机1的摄像机坐标系为测量坐标系,根据相邻两摄像机坐标系之间的旋转矩阵和平移矢量,计算各虚拟摄像机与测量坐标系之间的旋转矩阵和平移矢量;
2.1.4、将标定好的结构光传感器参数以及各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量保存到系统参数文件中,以备测量阶段使用;
2.2、测量阶段:
2.2.1、将宽视场结构光视觉传感器放置在待测宽视场场景中,打开四个结构光投射器,向宽视场场景内的被测物体投射结构光平面,在被测物体表面形成变形结构光条,拍摄一幅图像;提取图像中的光条中心点的图像坐标,根据其对应的结构光传感器参数,计算光条点在对应的虚拟摄像机坐标系下的三维坐标;根据虚拟摄像机坐标系与测量坐标系之间的空间关系,计算光条点在测量坐标系下的测量三维坐标;
2.2.2、重复步骤2.2.1,进行新的被测物表面三维测量。
本发明与现有技术相比的优点在于:
一、采用正四棱锥反射镜反射成像,扩大了摄像机的视场范围,与结构光视觉测量相结合,实现了宽视场的视觉三维感知测量;
二、系统结构简单,实用性强,摄像机与正四棱锥反射镜无需精确对准即能完成测量任务;
三、采用平面靶标完成摄像机与光平面方程的标定,操作简单,标定精度较高。
附图说明
图1为宽视场结构光视觉测量系统示意图;
图2为二维平面标定靶标示意图;
图3为准三维靶标示意图;
图4为正四棱锥反射成像示意图;
图5为宽视场结构光视觉测量系统数学模型示意图;
图6为拍摄得到的宽视场图像;
图7为三维测量实验结果。
具体实施方式
下面对本发明做进一步详细说明。本发明基于计算机视觉和图像处理技术,采用正四棱锥反射镜反射成像,扩大了摄像机的视场范围,同时通过多个结构光投射器拼接的方法进行宽视场结构光投射,完成宽视场场景信息的三维感知测量。
本发明宽视场结构光视觉测量系统基本原理如图1所示,它由宽视场结构光视觉传感器7、计算机和二维标定靶标8和准三维标定靶标9组成,其中宽视场结构光视觉传感器7包括摄像机1,正四棱锥反射镜2,结构光投射器3、结构光投射器4、结构光投射器5和结构光投射器6。四个结构光投射器投射出结构光平面,在宽视场场景物体表面形成表形结构光条,光条经过正四棱锥反射镜相应反射面的反射之后进入摄像机成像。
所说的二维标定靶标8为一个二维平面靶标,靶标上有预先设置的特征点,在靶标平面上布置成矩阵排列的圆,圆的数量为100~169个,其中有四个标志圆,任意三个标志圆均不共线,非标志圆的直径为9mm,标志圆直径为15mm,圆的直径精度为0.001mm,相邻两圆心的距离为15mm,其精度为0.001mm,选取靶面上圆的圆心作为特征点,特征点数量为100~169个;所说的准三维标定靶标9由两个平面靶标8组成,两靶标平面所确定的世界坐标系之间空间位置关系已知。
宽视场结构光视觉测量系统的工作原理为:由摄像机拍摄带有光条的宽视场场景图像,由图像处理方法提取光条中心线的图像坐标,根据四个结构光传感器的参数以及各虚拟摄像机坐标系与测量坐标系的关系,由光条中心线的图像坐标计算光条中心线的测量三维坐标。
图5所示为宽视场结构光视觉测量系统数学模型示意图。oci-xciycizci为虚拟摄像机i的摄像机坐标系,ou1-xu1yu1为虚拟摄像机1的无畸变图像坐标系,点om1是直线oc1zc1与图像平面的交点,称为摄像机的主点。以下以虚拟摄像机1及其对应的结构光光平面为例进行说明。
设结构光上任意一点P在oc1-xc1yc1zc1下的坐标为Xc1=(xc,yc,zc)T,在图像平面上的投影点为P′,在ou1-xu1yu1下齐次坐标为Xu1=(xu,yu,1)T。根据摄像机透视投影模型有:
ρXu1=A1Xc1          [1]
式中,A1为虚拟摄像机1的内部参数矩阵, A 1 = f x 0 u 0 0 f y v 0 0 0 1 , fx,fy为摄像机在x,y方向上的有效焦距,(u0,v0)为摄像机的主点坐标。
设虚拟摄像机1对应的结构光平面在虚拟摄像机1摄像机坐标系下方程为:
axc+byc+czc+d=0          [2]
若考虑摄像机镜头的一次和二次径向畸变,设P′点的畸变图像坐标为Xd1=(xd,yd,1)T,则有:
x d = x u [ 1 + k 1 ( x u 2 + y u 2 ) + k 2 ( x u 2 + y u 2 ) 2 ] y d = y u [ 1 + k 1 ( x u 2 + y u 2 ) + k 2 ( x u 2 + y u 2 ) 2 ] - - - [ 3 ]
k1,k2为径向畸变系数。
选取虚拟摄像机1的摄像机坐标系作为系统的测量坐标系om-xmymzm,虚拟摄像机i的摄像机坐标系oci-xciycizci到测量坐标系om-xmymzm的转换关系可表示为:
Xm=RimXci+Tim        [4]
式中,Xm=(xm,ym,zm)T为光条点在测量坐标系下的坐标,Rim为oci-xciycizci到om-xmymzm的3×3正交旋转矩阵,Tim为3×1的平移矢量,i=1、2、3、4。
由公式[1]-[3]可以由光条点的畸变图像坐标计算光条点在虚拟摄像机1坐标系下的三维坐标Xc1。同理,亦可在其他三个虚拟摄像机中利用该方法计算光条点在各自虚拟摄像机坐标系下的三维坐标Xc2,Xc3,Xc4。然后通过式[4]可以计算出光条点在om-xmymzm下的三维测量坐标。
根据宽视场结构光视觉测量系统的测量模型和本发明的测量原理,宽视场结构光视觉测量系统分为测量系统模型参数标定和根据模型进行测量两个阶段。
本发明测量系统模型参数标定的具体步骤如下:
1、调整正四棱锥反射镜2和摄像机1的相对位置,使摄像机1拍摄到的二维图像被均匀地划分为四个象限,调整完成后将正四棱锥反射镜2和摄像机1固紧;调整摄像机镜头焦距,保证在正四棱锥的四周反射光路方向上距离摄像机400~450mm范围内的物体所成图像较为清晰;调整结构光投射器3、结构光投射器4、结构光投射器5和结构光投射器6,保证结构光投射到摄像机视场范围内;调整完成后,将结构光投射器3、结构光投射器4、结构光投射器5和结构光投射器6固紧。
2、标定四个虚拟摄像机的内部参数,具体步骤如下:
第一步,在每个虚拟摄像机的视场范围内,自由移动靶标8至少五个位置,每移动一个位置,拍摄一幅图像,称为虚拟摄像机标定图像,靶标上四个标志圆应该包含在拍摄图像内;
第二步,提取各虚拟摄像机标定图像的特征点的图像坐标,并与特征点的世界坐标对应,特征点图像坐标提取方法参见《模式识别中的特征提取与计算机视觉不变量》(孙即祥、王晓华、种山著,国防工业出版社,2001年);
第三步,利用第二步提取的所有特征点的图像坐标及对应的世界坐标来标定各虚拟摄像机内部参数,包括有效焦距、主点以及畸变系数,标定方法参见Zhang Zhengyou的论文“A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence[J].2000,22(11):1330-1334”
3、标定结构光平面在各自虚拟摄像机坐标系下的方程,具体步骤如下:
第一步,在各虚拟摄像机的视场范围内,打开对应的结构光投射器电源,使结构光投射的光条经过靶标8的特征区域,拍摄一幅图像,称为光平面标定图像,靶标上四个标志圆应该包含在拍摄图像内;将投射在靶标8上的直线光条中心线上的点称为控制点。
第二步,根据各虚拟摄像机的畸变模型,校正光平面标定图像的畸变,得到无畸变光平面标定图像,提取无畸变光平面标定图像的特征点的图像坐标,根据特征点对应的世界坐标计算靶标平面与图像平面之间的单应矩阵H、摄像机坐标系与世界坐标系之间的旋转矩阵R和平移向量T,计算方法参见Zhang Zhengyou的论文“A flexible new technique for camera calibration.IEEETransactions on Pattern Analysis and Machine Intelligence[J].2000,22(11):1330-1334”。
第三步,提取无畸变光平面标定图像中控制点的图像坐标,控制点的图像坐标提取算法参见Carsten Steger的论文“An Unbiased Detector ofCurvilinear Structures.IEEE Transactions on Pattern Analysis and MachineIntelligence[J].199820(2):113-125”。根据靶标平面与图像平面之间的单应矩阵,计算控制点的三维世界坐标:
(xw,yw,1)T=sH-1(u,v,1)T        [5]
(xw,yw,0)T为控制点的三维世界坐标,(u,v)T为控制点的二维图像坐标,s是不为零的比例系数。
根据摄像机坐标系与世界坐标系之间的旋转矩阵和平移向量,计算出控制点的三维摄像机坐标:
(xc,yc,zc)T=R(xw,yw,0)T+T       [6]
(xc,yc,zc)T为三维摄像机坐标。
第四步,将靶标8自由放置到各摄像机视场范围内不同位置2~5次,采用第一步到第三步叙述的方法,计算更多非共线控制点的摄像机三维坐标;
第五步,利用非共线控制点的摄像机三维坐标,拟合平面得到各虚拟摄像机坐标系下光平面的方程;
4、标定各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量,具体步骤如下:
第一步,将靶标9放置在虚拟摄像机1和虚拟摄像机2之间,保证一个靶标面在虚拟摄像机1的视场范围内,另一个靶标面在虚拟摄像机2的视场范围内,拍摄一幅图像,称为位置关系标定图像,两个靶标面上的四个标志圆都应该包含在拍摄图像内;
第二步,提取位置关系标定图像的两靶标面上特征点的图像坐标,根据虚拟摄像机1和虚拟摄像机2的畸变模型,对各自靶标面上的特征点进行畸变校正,得到无畸变特征点图像坐标,根据特征点对应的世界坐标计算虚拟摄像机1和虚拟摄像机2的摄像机坐标系与对应的世界坐标系之间的旋转矩阵R1w,R2w和平移向量T1w,T2w
第三步,根据虚拟摄像机1和虚拟摄像机2的摄像机坐标系与对应的世界坐标系之间的旋转矩阵和平移向量,以及靶标9上两个靶标面之间的旋转矩阵Rt和平移向量Tt,计算虚拟摄像机1和虚拟摄像机2的摄像机坐标系之间的旋转矩阵R12和平移向量T12
R 12 = R 1 w R t R 2 w - 1 T 12 = T 1 w + R w T t - R 1 w R t R 2 w - 1 T 2 w - - - [ 7 ]
第四步,将靶标9依次放置在虚拟摄像机2和虚拟摄像机3之间、虚拟摄像机3和虚拟摄像机4之间,采用第一步到第三步叙述的方法,计算虚拟摄像机2和虚拟摄像机3的摄像机坐标系之间的空间转换关系R23,T23、虚拟摄像机3和虚拟摄像机4的摄像机坐标系之间的空间转换关系R34,T34
第五步,选取虚拟摄像机1的摄像机坐标系为测量坐标系,根据虚拟摄像机1和虚拟摄像机2的摄像机坐标系之间的空间关系、虚拟摄像机2和虚拟摄像机3的摄像机坐标系之间的空间关系、虚拟摄像机3和虚拟摄像机4的摄像机坐标系之间的空间关系,计算各虚拟摄像机与测量坐标系之间的旋转矩阵Rim和平移向量Tim(i=1、2、3、4):
R 1 m = I T 1 m = ( 0,0,0 ) T R 2 m = R 12 T 2 m = T 12 R 3 m = R 2 m R 23 T 3 m = R 2 m T 23 + T 2 m R 4 m = R 3 m R 34 T 4 m = R 3 m T 34 + T 3 m - - - [ 8 ]
式中,I为3×3的单位矩阵。
5、将标定好的各虚拟摄像机内部参数、各虚拟摄像机坐标系下对应的结构光光平面方程以及各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量保存到系统参数文件中,以备测量阶段使用。
测量系统的参数只需要标定一次,标定好测量系统后,就可以进行宽视场场景物体表面三维检测。测量阶段具体步骤如下:
6、将宽视场结构光视觉传感器放置在待测宽视场场景中,打开结构光投射器,向宽视场场景内的被测物体投射结构光平面,在被测物体表面形成变形结构光条,拍摄一幅图像,称为测量图像;将投射在被测物体表面上的光条中心线上的点称为测量点;
7、计算被测物表面测量点的三维测量坐标,具体步骤如下:
第一步,提取测量图像中的测量点的图像坐标,根据其对应的虚拟摄像机的畸变模型,计算得到测量点的非畸变图像坐标;测量点的图像坐标的提取方法同步骤3中第三步。
第二步,根据公式[1]-[3]在对应的虚拟摄像机坐标系中,计算摄像机坐标系原点和测量点的非畸变图像点确定的直线与对应的结构光平面的交点,得到测量点在对应的虚拟摄像机坐标系下的三维坐标。
第三步,根据虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量,由公式[4]计算测量点在测量坐标系下的测量三维坐标;
8、重复步骤6~7,进行新的被测物表面三维测量。
实施例
采用丹麦JAI公司的BM-500GE型CCD摄像机、西安华科光电公司的LH650-8-3(5)型线结构光投射器、日本PENTAX公司生产的H1214-M(KP)型号12mm焦距镜头,以及底边长150mm,高45mm的正四棱锥反射镜等组成宽视场结构光视觉测量系统。
采用图2所示的二维平面靶标8,对四个虚拟摄像机参数以及结构光平面在各自虚拟摄像机坐标系下的方程系数进行标定。靶标上白色圆的数量为121个。
标定得到的四个虚拟摄像机内部参数如表一所示:
表一
四个光平面方程的系数如表二所示:
表二
采用图3所示的准三维靶标9对各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量进行标定,标定结果如表三所示:
表三
采用上述已标定完成的宽视场结构光测量系统进行实际测量实验,拍摄得到的宽视场图像如图6所示。根据系统测量模型计算得到的三维数据如图7所示。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (2)

1.一种宽视场结构光视觉测量系统,其特征在于,
1.1、它由宽视场结构光视觉传感器[7]、计算机和二维标定靶标[8]和准三维标定靶标[9]组成,其中宽视场结构光视觉传感器[7]包括摄像机[1],正四棱锥反射镜[2],结构光投射器1[3]、结构光投射器2[4]、结构光投射器3[5]和结构光投射器4[6];正四棱锥反射镜[2]倒立放置在摄像机[1]的正前方;线结构光投射器1[3]、线结构光投射器2[4]、线结构光投射器3[5]和线结构光投射器4[6]向四周宽视场场景内的被测物体投射结构光平面,在被测物体表面形成变形结构光条,光条经过四棱锥反射镜[2]反射后被摄像机[1]接收;
1.2、所说的二维标定靶标[8]为一个二维平面靶标,靶标上有预先设置的特征点,在靶标平面上布置成矩阵排列的圆,圆的数量为100~169个,其中有四个标志圆,任意三个标志圆均不共线,非标志圆的直径为9mm,标志圆直径为15mm,圆的直径精度为0.001mm,相邻两圆心的距离为15mm,其精度为0.001mm,选取靶面上圆的圆心作为特征点,特征点数量为100~169个;所说的准三维标定靶标[9]由两个平面靶标[8]组成,夹角90°~120°,两靶标平面所确定的世界坐标系之间空间位置关系已知。
2.使用如权利要求1所述的宽视场结构光视觉测量系统进行宽视场场景信息三维感知测量的方法,其特征在于,实施过程分为标定阶段和测量阶段,进行一次标定即可连续测量,具体步骤如下:
2.1、标定阶段:
2.1.1、调整正四棱锥反射镜[2]和摄像机[1]的相对位置,使摄像机[1]拍摄到的二维图像被均匀地划分为四个象限;调整摄像机镜头焦距,保证在正四棱锥的四周反射光路方向上距离摄像机400~450mm范围内的物体所成图像较为清晰;调整结构光投射器1[3]、结构光投射器2[4]、结构光投射器3[5]和结构光投射器4[6],保证结构光投射到摄像机视场范围内;通过正四棱锥反射成像相当于四个虚拟摄像机从四个不同角度进行拍摄,称为虚拟摄像机1、虚拟摄像机2、虚拟摄像机3和虚拟摄像机4,四个虚拟摄像机与四个结构光投射器一一对应,形成四个结构光传感器;
2.1.2、标定四个结构光传感器参数,具体步骤如下:
步骤一,在每个虚拟摄像机的视场范围内,非平行自由移动二维标定靶标[8]至少五个位置,每移动一个位置拍摄一幅靶标图像,靶标上四个标志圆应该包含在拍摄图像内,提取特征点的图像坐标,并与其世界坐标对应,标定各虚拟摄像机内部参数,包括有效焦距、主点以及畸变系数;
步骤二,在每个虚拟摄像机的视场范围内,打开对应的结构光投射器电源,自由移动二维标定靶标[8]至少两次,并保证投射光条经过二维标定靶标[8]的特征区域,每移动一个位置拍摄一幅图像,靶标上四个标志圆应该包含在拍摄图像内,提取靶标上特征点的图像坐标,并与其世界坐标对应,计算靶标平面与图像平面之间的单应矩阵;提取投射在二维标定靶标[8]上的直线光条中心点的图像坐标,根据靶标平面与图像平面之间的单应矩阵,计算光条中心点的三维坐标,进而拟合出各虚拟摄像机坐标系下对应光平面的空间方程;
2.1.3、标定各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量,具体步骤如下:
步骤一,将准三维标定靶标[9]放置在虚拟摄像机1和虚拟摄像机2之间,保证一个靶标面在虚拟摄像机1的视场范围内,另一个靶标面在虚拟摄像机2的视场范围内,拍摄一幅图像,两个靶标面上的四个标志圆都应该包含在图像内;提取图像中两靶标面上特征点的图像坐标,并与各自的世界坐标对应,计算虚拟摄像机1和虚拟摄像机2的摄像机坐标系与各自对应的世界坐标系之间的旋转矩阵和平移矢量;根据准三维标定靶标[9]上两个靶标面所确定的两个世界坐标系之间的旋转矩阵和平移矢量,计算虚拟摄像机1和虚拟摄像机2的摄像机坐标系之间的旋转矩阵和平移矢量;
步骤二,将准三维标定靶标[9]依次放置在虚拟摄像机2和虚拟摄像机3之间、虚拟摄像机3和虚拟摄像机4之间,采用步骤一的方法,计算相邻两摄像机坐标系之间的旋转矩阵和平移矢量;
步骤三,选取虚拟摄像机1的摄像机坐标系为测量坐标系,根据相邻两摄像机坐标系之间的旋转矩阵和平移矢量,计算各虚拟摄像机与测量坐标系之间的旋转矩阵和平移矢量;
2.1.4、将标定好的结构光传感器参数以及各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量保存到系统参数文件中,以备测量阶段使用;
2.2、测量阶段:
2.2.1、将宽视场结构光视觉传感器放置在待测宽视场场景中,打开四个结构光投射器,向宽视场场景内的被测物体投射结构光平面,在被测物体表面形成变形结构光条,拍摄一幅图像;提取图像中的光条中心点的图像坐标,根据其对应的结构光传感器参数,计算光条点在对应的虚拟摄像机坐标系下的三维坐标;根据虚拟摄像机坐标系与测量坐标系之间的空间关系,计算光条点在测量坐标系下的测量三维坐标;
2.2.2、重复步骤2.2.1,进行新的被测物表面三维测量。
CN201210251197.7A 2012-07-19 2012-07-19 一种宽视场结构光视觉测量系统及测量方法 Expired - Fee Related CN102788559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210251197.7A CN102788559B (zh) 2012-07-19 2012-07-19 一种宽视场结构光视觉测量系统及测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210251197.7A CN102788559B (zh) 2012-07-19 2012-07-19 一种宽视场结构光视觉测量系统及测量方法

Publications (2)

Publication Number Publication Date
CN102788559A CN102788559A (zh) 2012-11-21
CN102788559B true CN102788559B (zh) 2014-10-22

Family

ID=47154035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210251197.7A Expired - Fee Related CN102788559B (zh) 2012-07-19 2012-07-19 一种宽视场结构光视觉测量系统及测量方法

Country Status (1)

Country Link
CN (1) CN102788559B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103115685B (zh) * 2013-03-11 2015-01-07 中国船舶重工集团公司第七一七研究所 一种红外多探测器组合探测装置及红外探测方法
CN103697854A (zh) * 2013-12-10 2014-04-02 广西华锡集团股份有限公司 一种非接触式结构面产状测量方法
CN104048601B (zh) * 2014-06-19 2018-01-23 湖北汽车工业学院 基于坐标变换的完整成像映射方法
CN104408732B (zh) * 2014-12-10 2017-07-28 东北大学 一种基于全向结构光的大视场深度测量系统及方法
CN104457607A (zh) * 2014-12-10 2015-03-25 东北大学 一种面向深度测量的沙漏码结构光的编解码方法
CN105806315B (zh) * 2014-12-31 2018-06-26 上海新跃仪表厂 基于主动编码信息的非合作目标相对测量系统及测量方法
CN104864855A (zh) * 2015-06-08 2015-08-26 北京航空航天大学 一种单像机全向立体视觉传感器及其设计方法
CN106226316A (zh) * 2016-08-31 2016-12-14 江苏大学 一种单摄像机宽视场视觉螺纹检测装置及其检测方法
CN106651958B (zh) * 2016-11-02 2023-06-16 华南理工大学 一种移动物体的对象识别装置及方法
CN106679590A (zh) * 2016-12-29 2017-05-17 中国科学院长春光学精密机械与物理研究所 三维扫描设备及三维扫描仪
CN106705896B (zh) * 2017-03-29 2022-08-23 江苏大学 一种基于单摄像机全方位主动视觉的电连接器壳体缺陷检测装置及方法
CN107292927B (zh) * 2017-06-13 2020-09-04 厦门大学 一种基于双目视觉的对称运动平台位姿测量方法
CN108050928B (zh) * 2017-09-05 2024-03-12 东莞中子科学中心 一种视觉测量仪以及一种视觉测量方法
CN107545593A (zh) * 2017-10-19 2018-01-05 深圳大学 视觉辅助的傅里叶叠层成像位置标定方法及装置
CN107782244B (zh) * 2017-10-24 2019-07-26 南京航空航天大学 一种基于视觉的六自由度小位移检测方法
CN107860315A (zh) * 2017-11-17 2018-03-30 浙江大学城市学院 一种结构光全向光场视觉系统组合结构
CN108507542B (zh) * 2018-04-02 2021-03-09 北京理工大学 一种超高速运动目标姿态测量系统及方法
CN110006402B (zh) * 2019-04-25 2021-03-09 北京航空航天大学 一种大型部件对接装配相对位姿的视觉测量系统和测量方法
CN112082533A (zh) * 2019-06-13 2020-12-15 泰科电子(上海)有限公司 图像采集系统和图像采集方法
CN113393415B (zh) * 2020-03-13 2023-04-07 中冶宝钢技术服务有限公司 连铸坯表面缺陷清理的视觉测量系统及路径规划方法
CN111590589A (zh) * 2020-06-04 2020-08-28 小狗电器互联网科技(北京)股份有限公司 机器人及目标物定位系统
CN112284278B (zh) * 2020-09-17 2022-07-05 北京卫星制造厂有限公司 一种模拟空间环境下大视场高精度结构变形测量系统
CN112629435B (zh) * 2020-11-17 2023-11-07 重庆文理学院 基于多线结构光的齿轮测量系统及方法
CN112270720B (zh) * 2020-12-21 2021-04-09 南京理工大学智能计算成像研究院有限公司 一种基于二基点的标定板特征点自动排序方法
CN112985293B (zh) * 2021-01-14 2023-05-30 北京航空航天大学 一种单像机双球面镜镜像双目视觉测量系统和测量方法
CN113251951B (zh) * 2021-04-26 2024-03-01 湖北汽车工业学院 基于单标定面映射的线结构光视觉测量系统的标定方法
CN113989105B (zh) * 2021-10-26 2022-08-16 季华实验室 一种单相机球面镜反射成像投影装置
CN114505864B (zh) * 2022-03-11 2024-02-09 上海柏楚电子科技股份有限公司 一种手眼标定方法、装置、设备及存储介质
CN115500582B (zh) * 2022-08-17 2024-03-22 上海科技大学 足部三维轮廓采集系统
CN116067283B (zh) * 2023-04-03 2023-08-04 成都飞机工业(集团)有限责任公司 一种深腔测量方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1462992A2 (en) * 2003-03-20 2004-09-29 Agilent Technologies, Inc. System and method for shape reconstruction from optical images
CN101013028A (zh) * 2006-01-31 2007-08-08 欧姆龙株式会社 图像处理方法以及图像处理装置
CN101419061A (zh) * 2008-12-08 2009-04-29 北京航空航天大学 一种镜像式结构光视觉测量系统和测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1462992A2 (en) * 2003-03-20 2004-09-29 Agilent Technologies, Inc. System and method for shape reconstruction from optical images
CN101013028A (zh) * 2006-01-31 2007-08-08 欧姆龙株式会社 图像处理方法以及图像处理装置
CN101419061A (zh) * 2008-12-08 2009-04-29 北京航空航天大学 一种镜像式结构光视觉测量系统和测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Song Zhang et..Novel method for structured light system calibration.《optical Engineering》.2006,第45卷(第8期),第083601-1 至083601-8页.
Song Zhang et..Novel method for structured light system calibration.《optical Engineering》.2006,第45卷(第8期),第083601-1 至083601-8页. *
周富强等.标定十字结构光传感器的新方法.《光电工程》.2006,第33卷(第11期),第52-56页. *
周富强等.线结构光视觉传感器的现场标定方法.《机械工程学报》.2004,第40卷(第6期),第169-173页. *

Also Published As

Publication number Publication date
CN102788559A (zh) 2012-11-21

Similar Documents

Publication Publication Date Title
CN102788559B (zh) 一种宽视场结构光视觉测量系统及测量方法
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
US7206080B2 (en) Surface shape measurement apparatus, surface shape measurement method, surface state graphic apparatus
CN102364299B (zh) 一种多个结构光投影三维型面测量头的标定技术
CN110009682B (zh) 一种基于单目视觉的目标识别定位方法
CN103411553A (zh) 多线结构光视觉传感器的快速标定方法
CN105115560B (zh) 一种船舱舱容的非接触测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN105424006A (zh) 基于双目视觉的无人机悬停精度测量方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN104990515A (zh) 大型物体三维形状测量系统及其测量方法
CN102376089A (zh) 一种标靶校正方法及系统
CN102155923A (zh) 基于立体靶标的拼接测量方法及系统
CN104316083B (zh) 一种虚拟多球体球心定位的tof深度相机三维坐标标定装置和方法
CN106504287B (zh) 基于模板的单目视觉目标空间定位系统
CN106651957B (zh) 基于模板的单目视觉目标空间定位方法
Feng et al. Inertial measurement unit aided extrinsic parameters calibration for stereo vision systems
CN103559707A (zh) 基于运动方靶标定物的工业定焦相机参数标定方法
CN107560554A (zh) 一种基于旋转透镜的三维信息视觉测量方法
Crispel et al. All-sky photogrammetry techniques to georeference a cloud field
CN110030928A (zh) 基于计算机视觉的空间物体定位和测量的方法和系统
CN107014293A (zh) 一种相机扫描成像的摄影测量方法
CN104036518A (zh) 一种基于向量法和三点共线的相机标定方法
JP2017098859A (ja) 画像のキャリブレーション装置及びキャリブレーション方法
Wang et al. Calibration Research on Fish-eye lens

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141022

Termination date: 20150719

EXPY Termination of patent right or utility model