CN110595387B - 一种基于多频率结构光的三维重建系统标定方法 - Google Patents

Abstract

本发明公开了一种基于多频率结构光的三维重建系统标定方法，该标定方法包括：步骤S1：初始化设备；步骤S2：准备标定板；步骤S3：获取标定图像；步骤S4：标定相机；步骤S41：确定kp0；步骤S42：确定kp1和kp2；步骤S43：确定kp3和kp4；步骤S44：搜索余下的小圆；步骤S5：标定投影仪；步骤S51：使用标定板白光图生成G矩阵；步骤S52：解相位；步骤S521：获取光栅投影图；步骤S522：相位解包裹；步骤S523：迭代计算求最细条纹绝对相位；步骤S53：求解参量；步骤S6：结束。本发明所提供的标定方法具有标定过程简单、准确性高、实用性强、使用方便、造价低的优点。

Description

一种基于多频率结构光的三维重建系统标定方法

技术领域

本发明涉及光学检测技术领域，尤其涉及一种基于多频率结构光的三维重建系统标定方法。

背景技术

系统标定算法是三维形貌测量的关键步骤之一，早期人们使用特制的精密设备对三维形貌测量设备进行标定，如文章“Implementation and experimental study on fastobject modeling based on multiple structured stripes”使用有两个互相垂直面的标定板进行设备标定；或者使用三垂直平面标定板标定测量设备；或者使用精密的标定块对系统进行标定。以上都需要使用精心制作的标定设备才能完成系统标定，设备昂贵，成本高、效率低。

张正友在文章“A Flexible New Technique for Camera Calibration”提出了一种平面相机标定法，在全世界范围内被普遍采用，并称之为“张氏标定”。但是没有考虑相机的切向畸变，也没有提出投影仪标定的解决办法。

如文章“Flexible method for structured light system calibration”中提出了一种更灵活的标定结构光系统的方法，其将投影机当成相机，使用立体视觉的标定方法来标定系统。但是需要使用投影仪投射参考标定板图像与标定板模板进行对比，并要求改变模板的位置采集多张图像，标定过程繁琐，效率低。

因此，现有技术需要进一步改进和完善。

发明内容

本发明的目的在于克服现有技术的不足，一种基于多频结构光的三维重建系统的标定方法，能够简单、快速、高精度地实现系统标定。

本发明的目的通过下述技术方案实现：

一种基于多频率结构光的三维重建系统标定方法，所述三维重建系统包括载物平台、可上下移动、左右旋转的紧固支架、安装在支架上的X轴滑轨、位于支架上的Y轴滑轨、安装在Y轴滑轨上的光栅投影仪、安装在X轴滑轨上的相机、以及和相机相连接的采集设备，该标定方法具体包括如下步骤：

步骤S1：初始化设备：调节紧固支架的高度，来改变相机的物距；调节相机镜头的焦距使待测物体清晰成像；调节投影仪的位置、角度和焦距，使其在视野中心呈清晰、完整的像。

步骤S2：准备标定板：本系统使用圆形平板标定板进行设备标定，标定板上有9*11个圆形，其中包含5个大圆和94个小圆。

步骤S3：获取标定图像：激活投影仪投射正弦光栅，同时触发相机采集图像；投射光栅为五频率四相移光栅，并额外投射白光一次，即激活一次投影仪共采集21张图像，将标定板放置在视场范围内5个不同的位置，共采集 5组图像。

步骤S4：标定相机：使用圆形平板标定板进行系统标定，首先找到标定板上圆形的坐标，标定板上共有99个圆，其中5个大圆用 kp0,kp1,kp2,kp3,kp4表示，根据大圆位置的特殊性可区分每一个圆。

具体的，所述步骤S4还包括如下步骤：

步骤S41：确定kp0:进行图像处理找到所有的圆形，根据圆面积筛选出 5个大圆，计算彼此之间的距离，其中有两个圆之间距离最长是kp1和kp2，有两个圆之间距离最短为kp3和kp4，余下的便是kp0；

步骤S42：确定kp1和kp2:计算kp1、kp2到kp3、kp4的距离之和，大的为kp1,小的为kp2；

步骤S43：确定kp3和kp4:计算kp3、kp4到kp1的距离，大的为kp3，小的为kp4；

步骤S44：搜索余下的小圆：根据摄影几何的直线投影不变性和标定板上圆与圆之间的距离，对余下小圆的位置进行预估；然后沿着大圆上、下、左、右四个方位对预估点进行匹配，直到找到所有圆。

具体的，系统的标定采用两步法，首先不考虑畸变，使用针孔模型标定相机内参，则相机模型可用等式：

表示,其中s是任意比例因子，A是相机内参矩阵，R是旋转矩阵，T是平移矩阵；

矩阵A包含相机内参如式(2)所示

其中，f_x、f_y分别为x、y轴方向的有效焦距，(m₀,n₀)为图像主点坐标， s为倾斜因子；

然后考虑镜头的径向畸变和切向畸变，使用如下相机畸变模型，

其中，

为实际拍摄的图像点坐标，(X_n,Y_n)为理想的空间点图像坐标，k₁、k₂是一阶、二阶径向畸变系数，p₁、p₂是切向畸变系数，最后使用LM法迭代优化相机参数；

相机获取标定图后，使用Bouguet提供的MATLAB标定工具箱求出相机内参矩阵和畸变系数。

步骤S5：标定投影仪：投影仪的标定过程可以看作是“逆向”的相机，通过建立投影仪投射图像和相机采集图像的映射关系来实现投影仪的标定。

具体的，所述步骤S5使用相机拍照来虚拟投影仪抓取图像，建立相机和投影仪的映射关系，使用相移法来实现上述功能，具体步骤如下：

步骤S51：使用标定板白光图生成G矩阵：使用相机标定中的方法可以获取标定板中各标定点Q_i(a_i,b_i)和在相机像素坐标系中的坐标(m_i,n_i)，点 Q(a,b)在标定板面的三维坐标为(a,b,0),由等式(1)得：

其中H_c＝A_c[r₁,r₂,T₀]是3×3的单应性矩阵，令

矩阵G反映了相机-标定板的对应关系，由等式(4)、(5)知

使用标定板中圆心的像素坐标和标定点坐标可求出G矩阵；

步骤S52：解相位：由等式(6)得

反映相机拍摄图像像素和其在相机坐标系中坐标的关系，正弦光栅解相位后可获取相位φ_i，本发明使用五频率光栅迭代法获取标定板圆心的相位；

具体的，所述步骤S52的解相位具体过程如下：

步骤S521：获取光栅投影图:相机标定时会同时向标定板投射五频率四步相移光栅，使用图像处理技术获取每张图中圆心的位置的灰度值，正弦光栅图像为：

I_n(x,y)＝I′(x,y)+I″(x,y)cos[φ_n(x,y)+2πn/N] (8)

其中：I_n(x,y)为该像素点的灰度值，I′(x,y)为背景光强，I″(x,y)为光栅条纹增益,φ_n(x,y)为待求相位场，2πn/N为相移，采用四步相移，则 n∈{0,1,2,3},N＝4，可使用公式

计算出包裹相位Φ(x,y)；

步骤S522：相位解包裹：投射的光栅频率分别为x⁰,x¹,x²,x³,x⁴，则光栅节距为p₀,p₁,p₂,p₃,p₄，有如下等式成立：

p_in_i＝p_jn_j,i,j∈{0,1,2,3,4} (10)

n_i＝N_i+Δn_i,N_i∈Z (11)

其中，n_i,i∈{0,1,2,3,4}为条纹的级数，N_i为级数中的整数部分，Δn_i为小数部分，由公式

φ_i(x,y)＝2πN_i+Φ_i(x,y) (13)

可计算出绝对相位φ_i(x,y)，当光栅频率f₀＝1时，节距p₀覆盖整个视场，有n₀＝Δn₀，n₀p₀＝n₁p₁，由(11)可得

其中floor()表示向下取整，又由等式(12)得

步骤S523：迭代计算求最细条纹绝对相位：条纹的粗细会影响测量精度，频率为f₄时，频率最高，条纹最细，由公式(10)和(15)经过4次迭代计算得，

再用公式(13)计算出投射最细条纹光栅时，标定板上圆心的绝对相位值φ₄。

步骤S53：求解参量：获取G矩阵后便可获得标定板圆形圆心在相机坐标系下的坐标(X_c,Y_c,Z_c)，通过解相位获取圆心相点的绝对相位值φ，通过投影光栅的相位和相机坐标的关系，建立相机CCD到投影仪数字镜像设备(DMD) 的一对一映射关系；

在系统模型图中，有相似三角形

和

则有

由等式(18)、(19)得

其中

φ₀为O点的绝对相位值，φ为物点的绝对相位，p₀是光栅的节距，则

由以上等式可得

通过多样本点，计算出a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈，可得出投影坐标和相机坐标得转换关系。

步骤S6：结束：设备正常标定完成后，便可用于三维形貌获取；没有改变投影、相机的位置和焦距的情况下，不需要进行再次标定，可直接使用。

作为本发明的优选方案，所述步骤S2中圆形圆心和圆心之间的距离为 40mm；5个大圆按特定位置排列。

与现有技术相比，本发明还具有以下优点：

(1)本发明所提供的基于多频率结构光的三维重建系统标定方法采用平板标定板便可实现系统标定，造价低，使用方便。

(2)本发明所提供的基于多频率结构光的三维重建系统标定方法采用投影仪标定独立于摄像机标定，标定过程更简单。

(3)本发明所提供的基于多频率结构光的三维重建系统标定方法采用三维重建设备，摄像机和投影仪位置确定后不会经常改动，系统无需频繁标定，可用于实时三维形貌获取。

(4)本发明所提供的基于多频率结构光的三维重建系统标定方法使用 DLP投影仪可以保证光栅的正弦性和相移的准确性。

(5)本发明所提供的基于多频率结构光的三维重建系统标定方法使用四步相移和五频率迭代算法，对各像素点单独求解，有效避免了误差传递，提高了标定精度。

(6)本发明所提供的基于多频率结构光的三维重建系统标定方法不要求投影或摄像机光轴垂直于参考面，不要求投影光轴和摄像机光轴相交于参考面，只要求投射的光栅条纹之间平行，更有实用性。

附图说明

图1是本发明所提供的基于多频率结构光的三维重建系统标定方法的总流程图。

图2是本发明所提供的标定样板图。

图3是本发明所提供的标定板白光图样图。

图4是本发明所提供的标定板光栅图样图。

图5是本发明所提供的系统模型图。

图6是本发明所提供的投影标定流程图。

图7是本发明所提供的解相位流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明作进一步说明。

实施例1：

如图1至图7所示，本实施例公开了一种基于多频率结构光的三维重建系统标定方法，所述三维重建系统包括载物平台、可上下移动、左右旋转的紧固支架、安装在支架上的X轴滑轨、位于支架上的Y轴滑轨、安装在Y轴滑轨上的光栅投影仪、安装在X轴滑轨上的相机、以及和相机相连接的采集设备，该标定方法具体包括如下步骤：

步骤S1：初始化设备：调节紧固支架的高度，来改变相机的物距；调节相机镜头的焦距使待测物体清晰成像；调节投影仪的位置、角度和焦距，使其在视野中心呈清晰、完整的像。

步骤S2：准备标定板：本系统使用圆形平板标定板进行设备标定，标定板上有9*11个圆形，其中包含5个大圆和94个小圆。

步骤S3：获取标定图像：激活投影仪投射正弦光栅，同时触发相机采集图像；投射光栅为五频率四相移光栅，并额外投射白光一次，即激活一次投影仪共采集21张图像，将标定板放置在视场范围内5个不同的位置，共采集 5组图像。

步骤S4：标定相机：使用圆形平板标定板进行系统标定，首先找到标定板上圆形的坐标，标定板上共有99个圆，其中5个大圆用 kp0,kp1,kp2,kp3,kp4表示，根据大圆位置的特殊性可区分每一个圆。

具体的，所述步骤S4还包括如下步骤：

步骤S41：确定kp0:进行图像处理找到所有的圆形，根据圆面积筛选出5个大圆，计算彼此之间的距离，其中有两个圆之间距离最长是kp1和kp2，有两个圆之间距离最短为kp3和kp4，余下的便是kp0；

步骤S42：确定kp1和kp2:计算kp1、kp2到kp3、kp4的距离之和，大的为kp1,小的为kp2；

步骤S43：确定kp3和kp4:计算kp3、kp4到kp1的距离，大的为kp3，小的为kp4；

步骤S44：搜索余下的小圆：根据摄影几何的直线投影不变性和标定板上圆与圆之间的距离，对余下小圆的位置进行预估；然后沿着大圆上、下、左、右四个方位对预估点进行匹配，直到找到所有圆。

具体的，系统的标定采用两步法，首先不考虑畸变，使用针孔模型标定相机内参，则相机模型可用等式：

表示,其中s是任意比例因子，A是相机内参矩阵，R是旋转矩阵，T是平移矩阵；

矩阵A包含相机内参如式(2)所示

其中，f_x、f_y分别为x、y轴方向的有效焦距，(m₀,n₀)为图像主点坐标， s为倾斜因子；

然后考虑镜头的径向畸变和切向畸变，使用如下相机畸变模型，

其中，

为实际拍摄的图像点坐标，(X_n,Y_n)为理想的空间点图像坐标，k₁、k₂是一阶、二阶径向畸变系数，p₁、p₂是切向畸变系数，最后使用LM法迭代优化相机参数；

相机获取标定图后，使用Bouguet提供的MATLAB标定工具箱求出相机内参矩阵和畸变系数。

步骤S5：标定投影仪：投影仪的标定过程可以看作是“逆向”的相机，通过建立投影仪投射图像和相机采集图像的映射关系来实现投影仪的标定。

具体的，所述步骤S5使用相机拍照来虚拟投影仪抓取图像，建立相机和投影仪的映射关系，使用相移法来实现上述功能，具体步骤如下：

步骤S51：使用标定板白光图生成G矩阵：使用相机标定中的方法可以获取标定板中各标定点Q_i(a_i,b_i)和在相机像素坐标系中的坐标(m_i,n_i)，点 Q(a,b)在标定板面的三维坐标为(a,b,0),由等式(1)得：

其中H_c＝A_c[r₁,r₂,T₀]是3×3的单应性矩阵，令

矩阵G反映了相机-标定板的对应关系，由等式(4)、(5)知

使用标定板中圆心的像素坐标和标定点坐标可求出G矩阵；

步骤S52：解相位：由等式(6)得

反映相机拍摄图像像素和其在相机坐标系中坐标的关系，正弦光栅解相位后可获取相位φ_i，本发明使用五频率光栅迭代法获取标定板圆心的相位；

具体的，所述步骤S52的解相位具体过程如下：

步骤S521：获取光栅投影图:相机标定时会同时向标定板投射五频率四步相移光栅，使用图像处理技术获取每张图中圆心的位置的灰度值，正弦光栅图像为：

I_n(x,y)＝I′(x,y)+I″(x,y)cos[φ_n(x,y)+2πn/N] (8)

其中：I_n(x,y)为该像素点的灰度值，I′(x,y)为背景光强，I″(x,y)为光栅条纹增益,φ_n(x,y)为待求相位场，2πn/N为相移，采用四步相移，则 n∈{0,1,2,3},N＝4，可使用公式

计算出包裹相位Φ(x,y)；

步骤S522：相位解包裹：投射的光栅频率分别为x⁰,x¹,x²,x³,x⁴，则光栅节距为p₀,p₁,p₂,p₃,p₄，有如下等式成立：

p_in_i＝p_jn_j,i,j∈{0,1,2,3,4} (10)

n_i＝N_i+Δn_i,N_i∈Z (11)

其中，n_i,i∈{0,1,2,3,4}为条纹的级数，N_i为级数中的整数部分，Δn_i为小数部分，由公式

φ_i(x,y)＝2πN_i+Φ_i(x,y) (13)

可计算出绝对相位φ_i(x,y)，当光栅频率f₀＝1时，节距p₀覆盖整个视场，有n₀＝Δn₀，n₀p₀＝n₁p₁，由(11)可得

其中floor()表示向下取整，又由等式(12)得

步骤S523：迭代计算求最细条纹绝对相位：条纹的粗细会影响测量精度，频率为f₄时，频率最高，条纹最细，由公式(10)和(15)经过4次迭代计算得，

再用公式(13)计算出投射最细条纹光栅时，标定板上圆心的绝对相位值φ₄。

步骤S53：求解参量：获取G矩阵后便可获得标定板圆形圆心在相机坐标系下的坐标(X_c,Y_c,Z_c)，通过解相位获取圆心相点的绝对相位值φ，通过投影光栅的相位和相机坐标的关系，建立相机CCD到投影仪数字镜像设备(DMD) 的一对一映射关系；

在系统模型图中，有相似三角形

和

则有

由等式(18)、(19)得

其中

φ₀为O点的绝对相位值，φ为物点的绝对相位，p₀是光栅的节距，则

由以上等式可得

通过多样本点，计算出a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈，可得出投影坐标和相机坐标得转换关系。

步骤S6：结束：设备正常标定完成后，便可用于三维形貌获取；没有改变投影、相机的位置和焦距的情况下，不需要进行再次标定，可直接使用。

作为本发明的优选方案，所述步骤S2中圆形圆心和圆心之间的距离为 40mm；5个大圆按特定位置排列。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于多频率结构光的三维重建系统标定方法，所述三维重建系统包括载物平台、可上下移动、左右旋转的紧固支架、安装在支架上的X轴滑轨、位于支架上的Y轴滑轨、安装在Y轴滑轨上的光栅投影仪、安装在X轴滑轨上的相机、以及和相机相连接的采集设备，其特征在于，该标定方法包括如下步骤：

步骤S1：初始化设备：调节紧固支架的高度，来改变相机的物距；调节相机镜头的焦距使待测物体清晰成像；调节投影仪的位置、角度和焦距，使其在视野中心呈清晰、完整的像；

步骤S2：准备标定板：本系统使用圆形平板标定板进行设备标定，标定板上有9*11个圆形，其中包含5个大圆和94个小圆；

步骤S3：获取标定图像：激活投影仪投射正弦投影光栅，同时触发相机采集图像；正弦投影光栅为五频率四步相移光栅，并额外投射白光一次，即激活一次投影仪共采集21张图像，将标定板放置在视场范围内5个不同的位置，共采集5组图像；

步骤S4：标定相机：使用圆形平板标定板进行系统标定，首先找到标定板上圆形的坐标，标定板上共有99个圆，其中5个大圆用kp0,kp1,kp2,kp3,kp4表示，根据大圆位置的特殊性可区分每一个圆；

步骤S5：标定投影仪：投影仪的标定过程可以看作是“逆向”的相机，通过建立投影仪投射图像和相机采集图像的映射关系来实现投影仪的标定；

步骤S6：结束：设备正常标定完成后，便可用于三维形貌获取；没有改变投影、相机的位置和焦距的情况下，不需要进行再次标定，可直接使用；

系统的标定采用两步法，首先不考虑畸变，使用针孔模型标定相机内参，则相机模型可用等式：

表示,其中s是任意比例因子，A是相机内参矩阵，R是旋转矩阵，T是平移矩阵；

矩阵A包含相机内参如式(2)所示

其中，f_x、f_y分别为x、y轴方向的有效焦距，(m₀,n₀)为图像主点坐标，s′为倾斜因子；

然后考虑镜头的径向畸变和切向畸变，使用如下相机畸变模型，

其中，

为实际拍摄的图像点坐标，(X_n,Y_n)为理想的空间点图像坐标，k₁、k₂是一阶、二阶径向畸变系数，p₁、p₂是切向畸变系数，最后使用LM法迭代优化相机参数；

相机获取标定图后，使用Bouguet提供的MATLAB标定工具箱求出相机内参矩阵和畸变系数；

所述步骤S5的具体步骤如下：

步骤S51：使用标定板白光图生成G矩阵：使用相机标定中的方法可以获取标定板中各标定点Q_i(a_i,b_i)和在相机像素坐标系中的坐标(m_i,n_i)，点Q(a,b)在标定板面的三维坐标为(a,b,0),由等式(1)得：

上式中：(X_c,Y_c,Z_c)是标定板圆形圆心在相机坐标系下的坐标，其中H_c＝A_c[r₁,r₂,T₀]是3×3的单应性矩阵，令

矩阵G反映了相机-标定板的对应关系，由等式(4)、(5)知

使用标定板中圆心的像素坐标和标定点坐标可求出G矩阵；

步骤S52：解相位：由等式(6)得

反映相机拍摄图像像素和其在相机坐标系中坐标的关系，正弦投影光栅解相位后可获取标定板圆心的绝对相位值φ，使用五频率光栅迭代法获取标定板圆心的相位；

步骤S53：求解参量：获取G矩阵后便可获得标定板圆形圆心在相机坐标系下的坐标(X_c,Y_c,Z_c)，通过解相位获取标定板圆心的绝对相位值φ，通过正弦投影光栅的相位和相机坐标的关系，建立相机到投影仪的一对一映射关系；

在系统模型图中，有相似三角形

和

则有

由等式(17)、(18)得

其中

φ₀为O点的绝对相位值，φ为标定板圆心的绝对相位，p₀是光栅的节距，则

由以上等式可得

通过多样本点，计算出a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈，可得出投影坐标和相机坐标的转换关系。

2.根据权利要求1所述的基于多频率结构光的三维重建系统标定方法，其特征在于，所述步骤S4还包括如下步骤：

步骤S41：确定kp0:进行图像处理找到所有的圆形，根据圆面积筛选出5个大圆，计算彼此之间的距离，其中有两个圆之间距离最长是kp1和kp2，有两个圆之间距离最短为kp3和kp4，余下的便是kp0；

步骤S42：确定kp1和kp2:计算kp1、kp2到kp3、kp4的距离之和，大的为kp1,小的为kp2；

步骤S43：确定kp3和kp4:计算kp3、kp4到kp1的距离，大的为kp3，小的为kp4；

步骤S44：搜索余下的小圆：根据摄影几何的直线投影不变性和标定板上圆与圆之间的距离，对余下小圆的位置进行预估；然后沿着大圆上、下、左、右四个方位对预估点进行匹配，直到找到所有圆。

3.根据权利要求1所述的基于多频率结构光的三维重建系统标定方法，其特征在于，所述步骤S52的解相位具体过程如下：

步骤S521：获取光栅投影图:相机标定时会同时向标定板投射五频率四步相移光栅，使用图像处理技术获取每张图中圆心的位置的灰度值，正弦投影光栅图像为：

I_n(x,y)＝I′(x,y)+I″(x,y)cos[φ_n(x,y)+2πn/N] (8)

其中：I_n(x,y)为该像素点的灰度值，I′(x,y)为背景光强，I″(x,y)为光栅条纹增益,φ_n(x,y)为待求相位场，2πn/N为相移，采用四步相移，则n∈{0,1,2,3},N＝4，可使用公式

计算出包裹相位Φ(x,y)；

步骤S522：相位解包裹：投射的光栅频率分别为f₀,f₁,f₂,f₃,f₄，则光栅节距为p₀,p₁,p₂,p₃,p₄，有如下等式成立：

p_in_i＝p_jn_j,i,j∈{0,1,2,3,4} (10)

n_i＝N_i+Δn_i,N_i∈Z (11)

其中，n_i,i∈{0,1,2,3,4}为条纹的级数，N_i为级数中的整数部分，Δn_i为小数部分，由公式

φ_i(x,y)＝2πN_i+Φ_i(x,y) (13)

可计算出标定板圆心的绝对相位φ_i(x,y)，当光栅频率f₀＝1时，节距p₀覆盖整个视场，有n₀＝Δn₀，n₀p₀＝n₁p₁，由(11)可得

其中floor{}表示向下取整，又由等式(12)得

步骤S523：迭代计算求最细条纹绝对相位：条纹的粗细会影响测量精度，频率为f₄时，频率最高，条纹最细，由公式(10)和(15)经过4次迭代计算得，

再用公式(13)计算出投射最细条纹光栅时，标定板上圆心的绝对相位值φ₄。

4.根据权利要求1所述的基于多频率结构光的三维重建系统标定方法，其特征在于，所述步骤S2中圆形圆心和圆心之间的距离为40mm；5个大圆按特定位置排列。

Images