CN113091646A - 基于条纹标定的三维形貌测量方法 - Google Patents

Abstract

一种基于条纹标定的三维形貌测量方法，通过将两台相机分别设置于投影仪的同水平面两侧，将被测物体设置于两台相机的景深范围，通过投影仪将编码条纹图像投影至被测物体的设有标定板的表面，同时由两台相机采集经被测物体调制后的条纹图像，得到条纹图像的展开相位图；再通过坐标映射得到两台相机之间的初步外部参数以及两台相机各自的初步内部参数，利用相位匹配点加强对极几何约束并基于相点误差进行加权的方法对初步外部参数和初步内部参数进行优化，最后利用双目视觉原理计算得到被测物体的表面形态。本发明能够兼顾精度与便捷性，标定速度快，结构简单；采用远小于被测结构的标定板进行标定，大大提高了测量过程的简便性和安全性；结合双目式的条纹投影法以及发明的目标函数，极大地提高大面积结构的形貌测量精度和稳定性。

Description

基于条纹标定的三维形貌测量方法

技术领域

本发明涉及的是一种光学测量领域的技术，具体是一种用于大面积结构的基于条纹标定的三维形貌测量方法。

背景技术

目前，三维形貌主要通过光学测量技术实现，其中较为常用的光学测量方法包括结构光方法，其通过投影仪对光源进行光强或光谱关于相位的种码，再由相机获取物体表面相位场分布信息，基于立体视觉原理测算出待测物表面的空间坐标。使用投影条纹法测量表面三维形貌测量，其测量结果受到曝光度、相位求解、相机分辨率、投影仪分辨率等诸多因素的影响，其中相机参数的标定是影响三维重建结果的主要原因之一。根据是否需要标定参照物，相机标定可分为现有的摄像机标定方法和摄像机自标定方法。摄像机自标定方法不需要参照物，但通常需要检测出图像中的平行线才能对相机内部参数进行高精度求解，或对内部参数进行简化或假设，影响其标定精度。同时，自标定法需要参照标尺才能确定测量表面的尺度。投影条纹测量系统针对的测量表面不一定具有平行线，也不一定本身含有参照标尺，因此采用参照物的现有的摄像机标定方法更加适用于高精度、大面积的投影条纹测量。然而，在使用参照物进行相机标定时，一般使用相对测量视场大小尺度适当的标定参照物，而在大面积标定时，使用足够大的标定板会带来制作、使用上的困难。然而如果采用常规大小的标定板，在角点检测误差相同的情况下，成像面上棋盘格相对尺度越小，角点检测引起的相对坐标相对误差就会被放大，进而对标定的精度带来影响。此外，在实际工程应用中，发现使用常规大小标定板标定会造成三维重建结果不稳定，测算出的形貌有差异。

发明内容

本发明针对现有技术针对大面积结构的测量需要多次投影，使得标定过程复杂耗时以及对标定参照物要求过高，检测过程精细度要求较高的问题，提出一种基于条纹标定的三维形貌测量方法，能够兼顾精度与便捷性，标定速度快，结构简单；采用远小于被测结构的标定板进行标定，大大提高了测量过程的简便性和安全性；结合双目式的条纹投影法以及发明的目标函数，极大地提高大面积结构的形貌测量精度和稳定性。

本发明是通过以下技术方案实现的：

本发明涉及一种三维形貌测量的条纹标定方法，通过将两台相机分别设置于投影仪的同水平面两侧，将被测物体设置于两台相机的景深范围，通过投影仪将编码条纹图像投影至被测物体的设有标定板的表面，同时由两台相机采集经被测物体调制后的条纹图像，得到条纹图像的展开相位图；再通过坐标映射得到两台相机之间的初步外部参数以及两台相机各自的初步内部参数，利用相位匹配点加强对极几何约束并基于相点误差进行加权的方法对初步外部参数和初步内部参数进行优化，最后利用双目视觉原理计算得到被测物体的表面形态。

为保证两台相机分别与投影仪和被测物体在空间上呈三角测量关系，投影仪与两台相机的视场均能够全部覆盖所述的被测物体的待测表面。

所述的编码条纹图像是指：正弦水平条纹图像和正弦垂直条纹图像，编码产生十字线图像，其中：水平条纹图像和垂直条纹图像的数量为M，M≥3；每幅条纹图像存在步长为2pi/M的相移增量，利用多步相移的方法，能够更加精确地提取相位信息，有效地较少图像噪声的影响，从而获得较佳的测量精度。

所述的水平条纹图像与垂直条纹图像的数量相同，通过分别投影相同数量的水平条纹图像与垂直条纹图像，能够有效地较少图像噪声的影响，从而获得较佳的测量精度。

所述的水平条纹图像与垂直条纹图像的数量M均为8，因投影的图片数量越多，越能够有效地较少图像噪声的影响，但却会降低效率。而通过分别投影8张水平条纹图像与垂直条纹图像，能够获得较佳的测量精度，和较佳的测量效率。

所述的水平条纹图像与垂直条纹图像的初始相位相同。

所述的投影是指：利用投影仪将编码条纹图像投影至待测物体的设有标定板的表面，调节投影仪的焦距以获得清晰的投影后，调节两台相机的焦距、光圈和曝光时间以获得清晰且亮度合适的图像。

所述的条纹图像中的条纹均为同种颜色。因为单色光能够有效地降低了图像噪声带来的影响，从而提高了测量精度和稳定性。

所述的条纹图像中的条纹为绿色。因为单色光能够有效地降低了图像噪声带来的影响，从而提高了测量精度和稳定性。

所述的条纹图像的条纹频率为8像素。从而得到较佳的测量精度。

所述的标定板的尺寸优选小于待测物体的表面。

所述的采集图像是指：拍摄N张不同标定板位姿下的图像，N≥4。不同位姿的标定板图像越多，标定的结果越精确，但同时测量所消耗的时间越多，且标定计算过程越不稳定，结果容易不收敛。为兼顾精度与测量时间，拍摄8张不同位姿的标定板图像较为合适。

所述的采集图像，具体步骤包括：1)将一台相机的光圈调到最大；2)降低该相机的曝光时间；3)调整该相机焦距以获得清晰的图像；4)将该相机的光圈调至中间大小；5)调节该相机的曝光时间，使得该相机拍摄的图像中的所有像素亮度均低于255；6)重复步骤1)到5)并调节另一台相机能够成像清晰且亮度合适，从而能够获得较大范围的景深，从而提高测量的精度和稳定性。同时，通过保证图像中的所有像素亮度均低于255，能够避免图像中出现过曝而导致相位信息失真的现象，从而提高了测量的精度和稳定性。

所述的采集图像优选均为灰度图像。通过使用灰度图像，避免了在使用彩色图像时，有色彩耦合、彩色相机自动校正等影响测量精度的情况发生，从而提高了测量的精度和稳定性。

所述的采集图像的所有像素亮度的最大值优选为180-220。通过保证图像中的所有像素亮度的最大值在180-220的范围内，能够获得较佳的测量结果。

所述的坐标映射是指：利用对应点间相位值相等的关系，分别建立被测物体的待测表面与两台相机图像平面上的点的对应关系，以得到两台相机的内部参数和外部参数，并对外部参数进行初步优化。

所述的优化是指：利用加权最小二乘法对像点对极几何误差进行加权，同时考虑到重投影关系，得到目标函数

优化两台相机之间的点对关系，以得到更准确的外部参数，即等式右侧第一项代表两台相机的对极几何约束，第二项代表现有张氏双目标定方法中采用的双相机重投影关系，其中：ε_i为第i组相位匹配点的对极几何误差，w_i为每点权重

为归一化权重均值。

所述的点的对应关系具体包括：

s1.利用两台相机观察同样的相位场，当两台相机中的两像素坐标点(x，y)满足：

则认为(x_l，y_l)与(x_r，y_r)为双相机的一对匹配点，其中：下标l、r分别代表两台相机，

为横条纹相位，沿投影仪竖直方向变化；

为竖条纹相位，沿投影仪水平方向变化；

s2.利用小孔成像原理，建立待测表面世界坐标系分别与两台相机成像平面之间的关系s[u,v]^T＝K[R,T][X,Y,Z,1]^T，其中：[u,v]为待测表面上一待测点的像素坐标，[X,Y,Z]为该测点的世界坐标，s为尺度因子，K为相机内部参数，[R,T]为相机外部参数，其中，R为3×3的旋转矩阵，T为3维的平移向量；

s3.利用张氏标定法对标定板的角点进行检测；因各角点相对坐标是已知的，由世界坐标与相机投影点之间的关系方程得到相机内部参数和外部参数，通过计算

对外部参数初步优化，其中：n为角点编号，p_n为满足投影关系的理想投影点，p_n0为相机捕获的真实投影点，om_k为相机坐标系相对第k个姿态标定板坐标系的旋转罗德里格斯旋转向量，T_k为相机坐标系相对第k个姿态标定板的平移向量；

所述的两台相机之间的夹角优选为30°。通过将两台相机分别以15°角对称设置于投影仪的左右两侧，能够获得最佳的测量结果。

所述的被测物体的表面形态，通过计算[s₁U₁,s₂U₂]^T＝[H₁,H₂]X得到，其中：U＝[u,v,1]，H＝K[R,T]，X＝[X,Y,Z,1]，下标1、2分别代表两台相机。

本发明涉及一种实现上述方法的计算系统，包括：包裹相位计算单元、展开相位计算单元、相位匹配单元、相机标定单元、参数优化单元以及形貌计算单元，其中：包裹相位计算单元与展开相位计算单元相连并传输左、右相机采集条纹图像中的包裹相位分布信息，展开相位计算单元与相位匹配单元相连并传输左、右相机采集条纹图像中的展开相位分布信息，相位标定单元与参数优化单元相连并传输左、右相机的内部参数以及初步优化的外部参数，相位匹配单元与形貌计算单元相连并传输左、右相机中匹配相位点分布信息，参数优化单元与形貌计算单元相连并传输最优化后的左、右相机的内部、外部参数。

技术效果

与现有技术相比，本发明避免了因现有技术中需要用与测量场同等尺寸的标定板进行标定而使得标定板尺寸过大及过程，从而导致标定过程不便的缺陷。运用本方法对被测物体进行三维形貌重建的测量精度误差相对于现有技术能够减少56％。所需的计算和测量过程所需的时间也快于现有技术的一半以上。

附图说明

图1为实施例场景示意图；

图2为实施例编码条纹图像示意图；

图3为图1局部放大示意图。

具体实施方式

如图1所示，为本实施例涉及一种用于测量大面积结构的三维形貌的条纹系统标定装置1，包括：位于同一水平面的两台相机2和投影仪3，其中：两台相机2分别设置于投影仪3的两侧(位于投影仪3左侧的相机2称为左相机201，位于投影仪3右侧的相机2称为右相机202)，被测物体4设置于两台相机2的景深范围，保证两台相机2分别与投影仪3和被测物体4在空间上呈三角测量关系。此外，保证投影仪3与两台相机4的视场均能够全部覆盖被测物体4的待测表面4.1。标定装置1与控制模块5连接。

在本实施例中，被测物体4为一白墙，其待测表面401的面积约为2.5mX 1.4m，为了获得最佳的测量结果，两台相机2对称设置于投影仪的两侧，左相机201与右相机202之间的夹角约为30°。

本实施例涉及上述用于测量大面积结构的三维形貌的条纹系统标定方法，具体包括以下步骤：

S1.搭建完标定装置1

S2.编码产生条纹图像6：如图2所示，条纹图像6为一组由控制模块5生成的含特定条纹频率的正弦直条纹，具体包括：水平条纹图像6.1和垂直条纹图像6.2，且均为绿色。这是因为单色光能够有效地降低了图像噪声带来的影响，从而提高了测量精度和稳定性。条纹图像6的条纹频率设置为8像素能够获得很好的测量效果。

本实施例进一步利用相移法原理，将条纹图像6的一个周期2π分为M步长，则相移步长为2π/M，条纹图像6的数量为M，M≥3。根据多步相移法原理，相移步长越多，越能够有效地较少图像噪声的影响，且提取的相位信息精度越高，即也意味着投影的条纹图像6的数量越多，增加了测量时长。

为兼顾测量精度与效率，在本实施例中，水平条纹图像6.1和垂直条纹图像6.2的数量相同，均为八张，且初始相移相同，均为0。此外，再编码产生十字线图像6.3，十字线图像6.3为一由控制模块5生成的十字形的交叉条纹。

S3.利用投影仪2投影条纹图像6至待测表面4.1，调节投影仪2的焦距以获得清晰的投影图像。调节两台相机2的焦距、光圈和曝光时间以获得清晰且亮度合适的图像，具体为：先将左相机201的光圈调到最大，然后降低曝光时间，再调整该焦距以获得清晰的图像。接着将左相机201的光圈调至中间大小，再调节曝光时间，直到使得其拍摄的图像中的所有像素亮度均低于255，且最大值保证在180-220的范围内。

通过上述操作获得较大范围的景深，并且能够避免图像中出现过曝而导致相位信息失真的现象，从而提高测量的精度和稳定性。对于右相机202也采用同样的调节方式。

S4.依次放映条纹图像6与十字线图像6.3，两台相机2分别拍摄条纹图像6投影在被测物体4上反射的图像，且均存储于控制模块5。两台相机2拍摄的均为灰度图像，这样能够避免在使用彩色图像时，因色彩耦合或彩色相机色彩自动校正等影响测量精度的情况发生，从而提高了测量的精度和稳定性。

S5.进行条纹系统标定，具体步骤包括：

5.1)如图3所示，先将面积为0.2(m)X 0.2(m)的标定板7贴于待测表面401，两台相机2分别拍摄贴设有标定板7的待测表面的反射的图像，标定板7的尺寸远小于待测表面401。避免了现有技术中需使用与被测物尺寸大致相同的标定物而带来的安装和测量的不便，从而极大地提高了测量的便捷性。

所述的标定板7为一方形的棋盘格板。

5.2)调整标定板7相对于待测表面401的位姿，再拍摄反射的图像，重复该操作直至获得N张贴设有不同位姿的所述的标定板的图像，N≥4。不同位姿的标定板图像越多，标定的结果越精确，但同时，测量所消耗的时间越多，且标定计算过程越不稳定，结果容易不收敛。兼顾精度与测量时间，在本实施例中，总共拍摄8张不同位姿的标定板图像。

5.3)利用对应点间相位值相等的关系，分别建立被测物体4的待测表面401与两台相机2图像平面上的点的对应关系，以得到两台相机各自的内部参数和外部参数，并对外部参数进行初步优化，具体为：

i)利用左相机201和右相机202观察同样的相位场，当两台相机201、202中的两像素坐标点(x，y)满足以下关系，则认为(x_l，y_l)与(x_r，y_r)为双相机的一对匹配点，其中：下标l、r分别代表两台相机201、202，具体为：

其中：

为横条纹相位，沿所述的投影仪竖直方向变化；

为竖条纹相位，沿所述的投影仪水平方向变化。通过该步骤，能够找到待测表面401上的任一点在左相机2.1和右相机2.2中各自代表的像素坐标，提供两台相机2之间的基本匹配条件。通过利用双目式的条纹投影法，避免了现有技术中需要进行的相位高度标定步骤，从而减少了测量时间，大大提高了测量的便捷性，同时减少了测量误差。

ii)利用小孔成像原理，对待测表面401上的有效相位值的相位点进行一一对应，建立待测表面401所处的世界坐标系分别与两台相机之间的映射关系如下所示，计算两台相机2的内部参数和每个位置的外部参数：P_c＝RP+T，其中：P＝[X，Y，Z]为世界坐标，P_c＝[X_c，Y_c，Z_c]为相机坐标，R为3×3的旋转矩阵，T为3维的平移向量。通过利用小孔成像原理，建立了世界坐标系与像素坐标系的对应关系。

iii)利用张氏标定法，对标定板7的角点进行检测；因各角点相对坐标是已知的，由世界坐标与相机投影点之间的关系方程，得到相机内部参数K和外部参数并通过以下方式进行对外部参数初步优化：

其中：n为角点编号，p_n为满足投影关系的理想投影点，p_n0为相机捕获的真实投影点。om_k为相机坐标系相对第k个姿态标定板坐标系的旋转罗德里格斯旋转向量，T_k为相机坐标系相对第k个姿态标定板的平移向量。通过利用张氏标定法，能够解出该对应关系中所需用到的相机的内部参数和外部参数。

iv)建立两台相机201、202之间的对极几何关系，使得所述的两台相机的参数能够直接、准确地通过匹配点联系，具体为：

其中：p＝(x，y，1)，

称为两台相机的基础矩阵。通过利用对极几何关系以及两台相机的内外部参数，能够精确地建立两台两台相机之间的对应关系，建立了求解待测表面4的具体三维信息的基本手段。

5.4)利用加权最小二乘法对像点数据进行加权，同时考虑到重投影关系，得到目标函数，优化两台两台相机之间的点的对关系，以得到更准确的外部参数，该目标函数为

其中：ε_i为第i组相位匹配点的对极几何误差，w_i为每点权重

代表归一化权重均值，右侧第一项代表两台相机的对极几何约束，第二项代表现有张氏双目标定方法中采用的双相机重投影关系。

上述目标函数能够对现有技术下获得的相机外部参数进行最优化，以提高两台两台相机之间的匹配精度，从而使得针对于大面积结构的形貌测量的精度大大提高。同时，结合双目式的条纹投影法以及本发明中的目标函数，使得利用小标定板7也能够对大面积的被测物体4进行准确且快速地标定。此外，还避免了现有技术中需要进行的相位高度标定步骤，从而减少了测量时间，极大地提高了测量的便捷性。

在根据条纹系统标定方法标定完成后，经由控制模块5处理，得到条纹图像6的展开相位图；根据已经求得的两台两台相机的内部参数以及经过目标函数优化后的两台两台相机的外部参数，代入[s₁U₁,s₂U₂]^T＝[H₁,H₂]X，则得到所述的被测物体的三维坐标，最终恢复其三维形貌。

经过具体实际实验：在大面积便面条纹测量系统标定中标定视场大小约为3.0m×2.0m的情况下，以相机分辨率为6000pixels×4000pixels,有效的投影条纹区域为2.5m×1.4m，投影仪像素为3840p×1920p；标定使用的棋盘格标定区域大小为0.2m×0.2m,单位棋盘格等长，长度为0.02m，被测物为一面隔板墙，以现有技术检测得到的隔板墙的形貌出现了规律的、较为明显的弯曲，平面度较差，其均方根平面度为0.896mm；而本方法检测得到的隔板墙的平面度较高、且边缘无明显失真，其均方根平面度为0.151mm。

与现有技术相比，本发明利用相位匹配点加强对极几何约束并基于相点误差进行加权的算法对参数进行最优化，利用相位匹配点加强对极几何约束并利用加权最小二乘法对像点对极几何误差进行加权，同时考虑到重投影关系。本发明无需制作与被测物体同样大小的标定板，利用远小于被测物体尺寸的标定板就能准确地恢复物体的三维形貌。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种三维形貌测量的条纹标定方法，其特征在于，通过将两台相机分别设置于投影仪的同水平面两侧，将被测物体设置于两台相机的景深范围，通过投影仪将编码条纹图像投影至被测物体的设有标定板的表面，同时由两台相机采集经被测物体调制后的条纹图像，得到条纹图像的展开相位图；再通过坐标映射得到两台相机之间的初步外部参数以及两台相机各自的初步内部参数，利用相位匹配点加强对极几何约束并基于相点误差进行加权的方法对初步外部参数和初步内部参数进行优化，最后利用双目视觉原理计算得到被测物体的表面形态；

所述的投影仪与两台相机的视场均能够全部覆盖所述的被测物体的待测表面；

所述的编码条纹图像是指：正弦水平条纹图像和正弦垂直条纹图像，编码产生十字线图像，其中：水平条纹图像和垂直条纹图像的数量为M，M≥3；每幅条纹图像存在步长为2π/M的相移增量；

所述的标定板的尺寸优选小于待测物体的表面。

2.根据权利要求1所述的三维形貌测量的条纹标定方法，其特征是，所述的水平条纹图像与垂直条纹图像的数量相同，通过分别投影相同数量的水平条纹图像与垂直条纹图像，能够有效地较少图像噪声的影响，从而获得较佳的测量精度；

所述的水平条纹图像与垂直条纹图像的初始相位相同。

3.根据权利要求1或2所述的三维形貌测量的条纹标定方法，其特征是，所述的条纹图像中的条纹均为绿色。

4.根据权利要求1或2所述的三维形貌测量的条纹标定方法，其特征是，所述的条纹图像的条纹频率为8像素。

5.根据权利要求1所述的三维形貌测量的条纹标定方法，其特征是，所述的采集图像，具体步骤包括：1)将一台相机的光圈调到最大；2)降低该相机的曝光时间；3)调整该相机焦距以获得清晰的图像；4)将该相机的光圈调至中间大小；5)调节该相机的曝光时间，使得该相机拍摄的图像中的所有像素亮度均低于255；6)重复步骤1)到5)并调节另一台相机能够成像清晰且亮度合适，从而能够获得较大范围的景深，从而提高测量的精度和稳定性。

6.根据权利要求1所述的三维形貌测量的条纹标定方法，其特征是，所述的优化是指：利用加权最小二乘法对像点对极几何误差进行加权，同时考虑到重投影关系，得到目标函数

优化两台相机之间的点对关系，以得到更准确的外部参数，即等式右侧第一项代表两台相机的对极几何约束，第二项代表现有张氏双目标定方法中采用的双相机重投影关系，其中：ε_i为第i组相位匹配点的对极几何误差，w_i为每点权重

为归一化权重均值。

7.根据权利要求1所述的三维形貌测量的条纹标定方法，其特征是，所述的点的对应关系具体包括：

s1.利用两台相机观察同样的相位场，当两台相机中的两像素坐标点(x，y)满足：

则认为(x_l，y_l)与(x_r，y_r)为双相机的一对匹配点，其中：下标l、r分别代表两台相机，

为横条纹相位，沿投影仪竖直方向变化；

为竖条纹相位，沿投影仪水平方向变化；

s2.利用小孔成像原理，建立待测表面世界坐标系分别与两台相机成像平面之间的关系s[u,v]^T＝K[R,T][X,Y,Z,1]^T，其中：[u,v]为待测表面上一待测点的像素坐标，[X,Y,Z]为该测点的世界坐标，s为尺度因子，K为相机内部参数，[R,T]为相机外部参数，其中，R为3×3的旋转矩阵，T为3维的平移向量；

s3.利用张氏标定法对标定板的角点进行检测；因各角点相对坐标是已知的，由世界坐标与相机投影点之间的关系方程得到相机内部参数和外部参数，通过计算

对外部参数初步优化，其中：n为角点编号，p_n为满足投影关系的理想投影点，p_n0为相机捕获的真实投影点，om_k为相机坐标系相对第k个姿态标定板坐标系的旋转罗德里格斯旋转向量，T_k为相机坐标系相对第k个姿态标定板的平移向量；

所述的被测物体的表面形态，通过计算[s₁U₁，s₂U₂]^T＝[H₁，H₂]X得到，其中：U＝[u,v,1]，H＝K[R,T]，X＝[X,Y,Z,1]，下标1、2分别代表两台相机。

8.一种实现权利要求1～7中任一所述三维形貌测量的条纹标定方法的系统，其特征在于，包括：包裹相位计算单元、展开相位计算单元、相位匹配单元、相机标定单元、参数优化单元以及形貌计算单元，其中：包裹相位计算单元与展开相位计算单元相连并传输两台相机采集条纹图像中的包裹相位分布信息，展开相位计算单元与相位匹配单元相连并传输两台相机采集条纹图像中的展开相位分布信息，相位标定单元与参数优化单元相连并传输两台相机的内部参数以及初步优化的外部参数，相位匹配单元与形貌计算单元相连并传输两台相机中匹配相位点分布信息，参数优化单元与形貌计算单元相连并传输最优化后的两台相机的内部、外部参数。

Images