CN115046497A - 一种基于光栅投影测量系统的改进标定方法 - Google Patents
一种基于光栅投影测量系统的改进标定方法 Download PDFInfo
- Publication number
- CN115046497A CN115046497A CN202210751066.9A CN202210751066A CN115046497A CN 115046497 A CN115046497 A CN 115046497A CN 202210751066 A CN202210751066 A CN 202210751066A CN 115046497 A CN115046497 A CN 115046497A
- Authority
- CN
- China
- Prior art keywords
- camera
- projector
- optical center
- coordinate system
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
Abstract
一种基于光栅投影测量系统的改进标定方法,本发明在传统的光栅投影测量系统中改进了对于模型参数求解的方法,具体采用四步相移法进行相位差值求解,通过所提出的数学方法求解模型参数最后带入相移高度模型实现物体的三维重建,本次实验分为两个部分:面具形貌重建和金属块测量实验。本发明提出了一种无需外物帮助的前提下在投影仪标定过程中和摄像机单目标定过程中提取出投影面和摄像机光心在世界坐标系下的表达式,直接计算投影仪和摄像机两光心之间的距离和投影仪光心(CCD摄像机光心)到参考平面的垂直距离的方法,既简化了系统校准过程中的繁琐过程和可操作性不好的问题,又实现了标定过程的精确性。
Description
技术领域
本发明涉及相移轮廓术中的传统相移高度模型的标定方法,特别是其中的投影仪和摄像机两光心之间的距离和投影仪光心(CCD摄像机光心)到参考平面的垂直距离的改进标定方法。
背景技术
三维重建一直是计算机视觉的重要研究领域之一。近年来,对三维轮廓重构技术的研究取得了巨大的进步,新技术新方法不断涌现。非接触式三维表面成像技术随着工业、医学应用和科学研究的市场需求的刺激而发展迅速。现有的重构系统大致可分为:光学三角法,激光干涉法,时间飞行法,结构光轮廓技术等。
相位测量轮廓术(PMP)是一种著名的基于主动立体视觉的光学计量方法,从20世纪80年代,德国光学研究人员提出了相移轮廓术来测量物体的深度,随着低成本数码相机和投影仪的发展和广泛应用,其具有高精度、无损、全场、不接触等特点,已广泛应用于机器视觉、工业检测、轮廓建模、生物医学等领域。典型的相位测量轮廓系统由投影仪和摄像机组成。其过程为投影仪向被测物体投射一组具有一定相位、周期变化的光栅条纹,根据被测物体表面的高度变化调制成变形光栅条纹,由摄像机捕捉调制后的变形光栅条纹的图像,经图像处理可获取光栅条纹的相位信息,然后通过解码获得待测物表面上各点在投影仪图像坐标系下的像素坐标;根据三维高度(形状)与相位之间的映射关系,也称为相位-高度映射,最后在图像中重建出物体的表面轮廓或变形。虽然PMP测量系统得到了广泛的应用,但在实际应用和测量中存在着一些不确定性,这些不确定性可能会进一步导致形状构造的巨大误差。这些不确定性有投影仪摄像机和投影仪都会产生噪声;光学畸变和光带来的干扰等;其中最主要的不确定性是传统的相位-高度映射模型可能有中标搭建光栅投影测量系统投影仪和摄像机必须满足严格的位置约束条件,并且摄像光心和投影镜头中心分别为假想的空间点,在实际操作中无法准确定位其具体位置,给实验带来了很大误差。
为了解决这些不确定性,近年来,很多科研者做出了努力。中国科学院沈阳自动化研究所机器人学国家重点实验室的王镇州提出了一种基于角度和模式建模的多频相移轮廓术三维表面成像系统标定,用建模方法去除标定阶段的噪声。张旭等人讨论了在PMP方法中的2种高度模型即几何变换和矩阵变换的内在联系和使用结构常数明确地解释了RPHM和APHM的系数。Jong-CholKang等人提出了一种采用9个系数的相位高度模型,并提出了一种去除相机镜头径向畸变的方法。电子测量技术国家重点实验室的金勇提出了一种基于数字光栅投影的在线测量方法,推导出了一个数学模型来描述光学畸变的变形程度与条纹图像相位之间的关系。周等人提出了一个相位-高度模型之间的连接线,投影仪和入射光瞳的出射光瞳平行于参考平面的CCD相机和投影仪和摄像机的两个光学轴相交于同一点的参考平面上,该模型考虑了相位差的倒数与离面高度之间的线性关系,但还没有精确地建立PMP系统的光学结构。Mao等人讨论了投影仪光心与CCD相机光心之间的连接线不必平行于参考平面,两光轴不必相交于参考平面上的同一点。Q.Ma等人在对比传统PMP系统中提出了一种新的相位-高度模型,打破了传统模型中对于投影仪和摄像机必须满足严格的位置约束条件。X.Bian等人同样也是认为传统模型的局限性,广义PMP系统中提出了一种新的相位-高度模型,对于投影和成像系统的两个瞳孔高度不等且对应轴不共线的情况,通过加入旋转角提高了实验的可操作性。
上述研究者对于相位-高度模型做出了大量的实验探究,都是对传统模型中摄像机和投影仪限制条件的改善和突破,比如放宽传统相位高度模型垂直和平行条件中加入偏转角度,或者提出多系数模型打破了摄像机和投影仪的位置摆放问题。但是这些参数的引入都加大了模型的复杂性,由于传统模型计算的简便性,所以传统模型仍具有一定的实际意义。
在标搭建光栅投影测量系统中,由于摄像即光心和投影镜头中心分别为假想的空间点,在实际操作中无法准确定位其具体位置,所以使用仪器测量的方法误差较大。
发明内容
本发明的目的是为了解决传统PMP系统中系统参数求解不准确的问题,提供一种基于光栅投影测量系统的改进标定方法,该方法在传统模型的位置条件下,提出了一种严格的系统参数求解方法,缓解了以往系统参数求解不当导致的测量精度较低的问题,保证了模型的精度。
本发明在传统模型的基础下对于模型的限制条件不变,其中摄像机光心到投影被测物面的垂直距离与摄像机光心到投影仪光心的距离一般有2种方法得出:1是由光学精密仪器测量得出,但在实际操作过程很难把控;2是通过隐式标定方法,设定比例系数,通过给出固定高的精密量块,来求得标定参数,但是现实中的比例关系不仅仅是线性关系。为了解决这一问题。本发明提出一种根据数学方法由摄像机单目标定和投影仪标定过程所得外部参数来计算摄像机光心到投影面的距离以及摄像头光心到投影仪光心的距离。
为实现上述目的,本发明采取的技术方案如下:
一种基于光栅投影测量系统的改进标定方法,所述方法具体为:
步骤一:引入传统相移-高度模型中的参数
式(1)是经典光栅投影测量系统的高度-相位映射关系式,其中,L为投影仪光心或CCD摄像机光心到参考平面的垂直距离,D为投影仪和摄像机两光心之间的距离,λ0为栅线的节距,是光栅投射到参考平面后,在参考面上沿着X轴方向,相位变化一个周期(2π)对应的像素变化值;
步骤二:求解参数L
在摄像机成像和标定过程中涉及到世界坐标系(OW,XW,YW,ZW)、摄像机坐标系(OC,XC,YC,ZC)、T图像物理坐标系(O’,x,y)和图像像素坐标系(O”,u,v),成像的过程也即是空间物点在这四个坐标系中的一系列变换过程;
在标定过程中,目标平面的空间姿态可以任意变换的,当目标平面被限制在参考平面内时,目标平面为参考平面,那么L可以看作是相机的光中心与世界坐标平面之间的距离,根据外部参数确定了世界坐标系与摄像机坐标系之间的空间位置关系,摄像机标定是为了采集摄像机在空间的位置和内部参数,用以建立摄像机平面和成像平面的像素点之间的映射关系;
在校准过程中,相机光学中心与参考平面之间的垂直距离L可以转换为相机光中心与棋盘格校准平面之间的垂直距离,即L是CCD相机光中心在世界坐标系中的Z值的长度;从世界坐标系到摄像机坐标系的转换过程可以通过旋转矩阵R和平移向量t来实现;转换公式为:
由式2可得:
当Xc、Yc、Zc均为0时,用公式(3)计算Zw的绝对值,即相机光学中心与参考平面之间的垂直距离L;
步骤三:求解参数D
在双目相机模型中,左和右相机的空间位置关联相关如下,其中Pl和Pr分别是左右的坐标相机在世界坐标系统,Rp和Tp是右相机相对于左相机的旋转和平移矩阵;
Pr=Rp*Pl+Tp
本发明相对于现有技术的有益效果为:本发明提出了一种无需外物帮助的前提下在投影仪标定过程中和摄像机单目标定过程中提取出投影面和摄像机光心在世界坐标系下的表达式,直接计算投影仪和摄像机两光心之间的距离和投影仪光心(CCD摄像机光心)到参考平面的垂直距离的方法,既简化了系统校准过程中的繁琐过程和可操作性不好的问题,又实现了标定过程的精确性。
附图说明
图1为经典光栅投影测量系统模型图;
图2为摄像机线性模型坐标系转换图;
图3为世界坐标系和相机坐标系转换模型图;
图4为摄像机和投影仪模型图;
图5为四步相移法实验图片;
图6为面具解相过程图;
图7为面具三维模型图和模型图;
图8为金属块点云图;
图9为金属块点云所拟合上下平面图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本发明技术方案进行修正或等同替换,而不脱离本发明技术方案的精神范围,均应涵盖在本发明的保护范围之中。
本发明在传统的光栅投影测量系统中改进了对于模型参数求解的方法,具体采用四步相移法进行相位差值求解,通过所提出的数学方法求解模型参数最后带入相移高度模型实现物体的三维重建,本次实验分为两个部分:面具形貌重建和金属块测量实验。
搭建光栅投影测量系统,满足传统相移-高度模型的限制条件。首先进行系统标定过程,将摄像机和投影仪放置在适当的位置,并将参考平面板垂直放置在投影仪的正前方。待连接完毕后,第一步:进行摄像机的单目标定过程,并记录所得数据,用以计算摄像机光心到参考平面的垂直距离L(创新点)。第二步:打开投影仪进行投影仪的标定过程,将标定板贴在参考平面板上并投影棋盘格在参考平面板上,获得适当数量的照片用以计算摄像机光心到投影仪光心的距离D。第三步:将相移分别为0、π/2、π、3π/2将光栅投射在参考面上,待重建物体放置在平面投射的光栅区域后,利用摄像机拍摄受待测物体调制后的变形光栅条纹,计算相位差值将得到的摄像机光心到参考平面的垂直距离L、摄像机光心到投影仪光心的距离D、相位差值带入相移-高度公式中计算高度值,完成实验。
具体实施方式一:本实施方式记载的是一种基于光栅投影测量系统的改进标定方法,所述方法具体为:
步骤一:引入传统相移-高度模型中的参数
式(1)是经典光栅投影测量系统的高度-相位映射关系式,其中,L为投影仪光心或CCD摄像机光心到参考平面的垂直距离,D为投影仪和摄像机两光心之间的距离,λ0为栅线的节距,是光栅投射到参考平面后,在参考面上沿着X轴方向,相位变化一个周期(2π)对应的像素变化值;L,D,λ0为系统参数,即为标定所得;在标搭建光栅投影测量系统中,投影仪和摄像机必须满足严格的位置约束条件。但由于摄像即光心和投影镜头中心分别为假想的空间点,在实际操作中无法准确定位其具体位置,在以往的标定过程中一般是使用精密仪器的测量方法,为了获得更准确的测量结果,本发明提出了一种通过单目CCD相机标定和相机-投影仪标定过程中的坐标系空间转换关系来求解L和D的方法。
步骤二:求解参数L
在摄像机成像和标定过程中涉及到世界坐标系(OW,XW,YW,ZW)、摄像机坐标系(OC,XC,YC,ZC)、T图像物理坐标系(O’,x,y)和图像像素坐标系(O”,u,v),成像的过程也即是空间物点在这四个坐标系中的一系列变换过程,如图2所示为摄像机标定过程中坐标系变换原理图;
在标定过程中,目标平面的空间姿态可以任意变换的,当目标平面被限制在参考平面内时,目标平面为参考平面,那么L可以看作是相机的光中心与世界坐标平面之间的距离,如图4所示,根据外部参数确定了世界坐标系与摄像机坐标系之间的空间位置关系,摄像机标定是为了采集摄像机在空间的位置和内部参数,用以建立摄像机平面和成像平面的像素点之间的映射关系,本发明选用张正友标定法使用Bouguet Camera CalibrationToolbox进行单目摄像机标定;
在校准过程中,相机光学中心与参考平面之间的垂直距离L可以转换为相机光中心与棋盘格校准平面之间的垂直距离,即L是CCD相机光中心在世界坐标系中的Z值的长度;从世界坐标系到摄像机坐标系的转换过程可以通过旋转矩阵R和平移向量t来实现;转换公式为:
由式2可得:
当Xc、Yc、Zc均为0时,用公式(3)计算Zw的绝对值,即相机光学中心与参考平面之间的垂直距离L;
步骤三:求解参数D
在双目相机模型中,左和右相机的空间位置关联相关如下,其中Pl和Pr分别是左右的坐标相机在世界坐标系统,Rp和Tp是右相机相对于左相机的旋转和平移矩阵;
Pr=Rp*Pl+Tp
在测量模型中,投影仪通常被看作是一个反向相机,则投影仪与相机的模型相同,光是反向的。因此,CCD相机和投影仪的空间位置也可以用Rp和Tp来表示。
具体实施方式二:具体实施方式一所述的一种基于光栅投影测量系统的改进标定方法,步骤三中,本发明利用GabrielFalcao等人的提出对Bouguet Camera CalibrationToolbox的二次开发方法完成了投影仪的标定。投影仪标定实验步骤为:第一步:进行单目摄像机标定记录摄像机内外参;第二步:投影棋盘格目标平面,并获取角点数据;第三步:计算投影仪内外参数;第四步:根据投影仪外参并计算投影仪与摄像机的相对位置关系。
实施例1:
本发明中,首先固定好摄像机和投影仪位置后,通过实际测量出摄像机光心到参考平面的垂直距离L和摄像机光心到投影仪光心的距离D,开始标定实验第一步,选取适当的摄像头和投影仪的位置,开始单目标定和计算摄像机光心到投影面的距离L,单目摄像机到靶标平面的垂直距离L就可以计算得出。标定过程的第二步是计算投影仪光心到摄像机光心的距离D,通过使用Projector-Camera Calibration Toolbox可以得到摄像机和投影仪的相对位置关系,这样又外参可以计算出D的值。第三步是将面具放置在光栅投影的参考平面位置,因为面具表面凹凸不平,投影光栅在其表面发生了形变,可以计算出此时的相位值,如图5,6所示。最后将获取的相位值之差即得到的相位主值和标定得到的摄像机光心到投影仪光心的距离D和摄像机光心到投影面的距离D带入公式,计算得出物体的深度信息,可以得到面具的三维点云数据,图7为面具重建的三维点云数据,图7为面具的点云图和模型图。
实施例2:
为了进一步验证该方法的准确性,本发明测量了一系列已知高度的矩形六面体。矩形六面体的点云图像如图8所示。根据点云数据,拟合了矩形六面体的上下平面,如图9所示。计算两个平面之间的距离,得到矩形块的平均高度。采用该方法,重复测量5mm、12mm和20mm的矩形六面体。为了进行比较,还给出了用传统的测量方法计算出的结果。
在表1中,h0为已知高度,havg为平均高度,MAE为同一矩形六面体多次重复测量得到的绝对平均误差,单词“traded”缩写为“Tra”。平均高度(havg)和平均绝对误差(MAE)表明了该方法的准确性。总体上,该方法计算出的平均高度比传统方法更接近真实高度,且用该方法重复计算被测物体得到的MAE值低于传统方法。因此,从表1中可以得出结论,本发明提出的系统参数的测量方法比传统的方法更准确。
表1用不同方法测量不同已知高度的实验结果
Claims (2)
1.一种基于光栅投影测量系统的改进标定方法,其特征在于:所述方法具体为:
步骤一:引入传统相移-高度模型中的参数
式(1)是经典光栅投影测量系统的高度-相位映射关系式,其中,L为投影仪光心或CCD摄像机光心到参考平面的垂直距离,D为投影仪和摄像机两光心之间的距离,λ0为栅线的节距,是光栅投射到参考平面后,在参考面上沿着X轴方向,相位变化一个周期(2π)对应的像素变化值;
步骤二:求解参数L
在摄像机成像和标定过程中涉及到世界坐标系(OW,XW,YW,ZW)、摄像机坐标系(OC,XC,YC,ZC)、T图像物理坐标系(O’,x,y)和图像像素坐标系(O”,u,v),成像的过程也即是空间物点在这四个坐标系中的一系列变换过程;
在标定过程中,目标平面的空间姿态可以任意变换的,当目标平面被限制在参考平面内时,目标平面为参考平面,那么L可以看作是相机的光中心与世界坐标平面之间的距离,根据外部参数确定了世界坐标系与摄像机坐标系之间的空间位置关系,摄像机标定是为了采集摄像机在空间的位置和内部参数,用以建立摄像机平面和成像平面的像素点之间的映射关系;
在校准过程中,相机光学中心与参考平面之间的垂直距离L可以转换为相机光中心与棋盘格校准平面之间的垂直距离,即L是CCD相机光中心在世界坐标系中的Z值的长度;从世界坐标系到摄像机坐标系的转换过程可以通过旋转矩阵R和平移向量t来实现;转换公式为:
由式2可得:
当Xc、Yc、Zc均为0时,用公式(3)计算Zw的绝对值,即相机光学中心与参考平面之间的垂直距离L;
步骤三:求解参数D
在双目相机模型中,左和右相机的空间位置关联相关如下,其中Pl和Pr分别是左右的坐标相机在世界坐标系统,Rp和Tp是右相机相对于左相机的旋转和平移矩阵;
Pr=Rp*Pl+Tp
2.根据权利要求1所述的一种基于光栅投影测量系统的改进标定方法,其特征在于:步骤三中,投影仪标定实验步骤为:第一步:进行单目摄像机标定记录摄像机内外参;第二步:投影棋盘格目标平面,并获取角点数据;第三步:计算投影仪内外参数;第四步:根据投影仪外参并计算投影仪与摄像机的相对位置关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210751066.9A CN115046497A (zh) | 2022-06-28 | 2022-06-28 | 一种基于光栅投影测量系统的改进标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210751066.9A CN115046497A (zh) | 2022-06-28 | 2022-06-28 | 一种基于光栅投影测量系统的改进标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115046497A true CN115046497A (zh) | 2022-09-13 |
Family
ID=83165365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210751066.9A Pending CN115046497A (zh) | 2022-06-28 | 2022-06-28 | 一种基于光栅投影测量系统的改进标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115046497A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681778A (zh) * | 2023-06-06 | 2023-09-01 | 固安信通信号技术股份有限公司 | 一种基于单目相机的距离测量方法 |
-
2022
- 2022-06-28 CN CN202210751066.9A patent/CN115046497A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681778A (zh) * | 2023-06-06 | 2023-09-01 | 固安信通信号技术股份有限公司 | 一种基于单目相机的距离测量方法 |
CN116681778B (zh) * | 2023-06-06 | 2024-01-09 | 固安信通信号技术股份有限公司 | 一种基于单目相机的距离测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11808564B2 (en) | Calibration method for fringe projection systems based on plane mirrors | |
CN110296667B (zh) | 基于线结构光多角度投影的高反射表面三维测量方法 | |
CN112465912B (zh) | 一种立体相机标定方法及装置 | |
CN110940295B (zh) | 基于激光散斑极限约束投影的高反射物体测量方法及系统 | |
CN110349257B (zh) | 一种基于相位伪映射的双目测量缺失点云插补方法 | |
CN113205592B (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
Yang et al. | Flexible and accurate implementation of a binocular structured light system | |
CN112489109B (zh) | 一种三维成像系统方法、装置及三维成像系统 | |
CN114111637A (zh) | 一种基于虚拟双目的条纹结构光三维重建方法 | |
WO2020199439A1 (zh) | 基于单双目混合测量的三维点云计算方法 | |
CN111649694B (zh) | 一种隐式相位-视差映射的双目测量缺失点云插补方法 | |
CN112132890B (zh) | 一种扩大标定空间的数字光栅投影测量系统标定方法 | |
CN115046497A (zh) | 一种基于光栅投影测量系统的改进标定方法 | |
JP2013024655A (ja) | 画像処理方法および装置 | |
CN113822920B (zh) | 结构光相机获取深度信息的方法、电子设备及存储介质 | |
Yang et al. | Flexible and fast calibration method for uni-directional multi-line structured light system | |
Li et al. | A virtual binocular line-structured light measurement method based on a plane mirror | |
CN112179292B (zh) | 一种基于投影仪的线结构光视觉传感器标定方法 | |
CN113240746A (zh) | 基于理想成像平面的散斑结构光标定方法和设备 | |
WO2024021654A1 (zh) | 一种用于线结构光3d相机的误差校正方法以及装置 | |
CN116379965A (zh) | 结构光系统标定方法、装置、结构光系统及存储介质 | |
CN112985258B (zh) | 一种三维测量系统的标定方法及测量方法 | |
CN209820423U (zh) | 用于激光平面空间方程快速标定的辅助标靶屏幕装置 | |
CN112927299B (zh) | 标定方法、装置及电子设备 | |
Li et al. | A method for 3D measurement and reconstruction for active vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |