CN106500596A - 结构光全景测量系统的测量方法 - Google Patents

Abstract

本发明提供了一种结构光全景测量系统的测量方法，在根据本发明的结构光全景测量系统的测量方法中，利用两个双曲面镜，即第一双曲面镜和第二双曲面镜，分别与相机和投影仪构成相机全景子系统和投影仪全景子系统进而组成结构光全景测量系统，鉴于双曲面镜的非线性导致精度损失而导致对硬件的要求高，设计变频的环形条纹模板图片和恒频的伞状条纹模板图片以降低对硬件的要求从而保证较高的精度，而后建立相机全景子系统成像模型和投影仪全景子系统成像模型，并结合移相法结构光测量原理对被测目标的三维坐标进行测量，从而在保证较高精度的前提下操作简单的实现全景测量。

Description

结构光全景测量系统的测量方法

技术领域

本发明涉及结构光全景测量系统，尤其涉及一种结构光全景测量系统的测量方法。

背景技术

结构光测量是视觉测量中一种重要的测量方法，利用相机捕捉投影仪投射的且在被测目标表面变形的模板图片，从而实现三维物体的重建和测量。由于相机只能拍摄视场范围内的场景而投影仪也只能投影图像到其视场范围内，它们的视场一般都小于180度，则要实现360度的全景测量，必须旋转投影仪和相机，测量后再进行配准，操作复杂且易损失精度。

发明内容

鉴于现有技术存在的缺陷，本发明的目的在于提供一种结构光全景测量系统的测量方法，在保证较高精度的前提下操作简单的实现全景测量。

为了实现上述目的，本发明提供了一种结构光全景测量系统的测量方法，包括步骤：

S1：设计相机全景子系统的第一双曲面镜和投影仪全景子系统的第二双曲面镜；

S2：设置相机全景子系统中的相机与第一双曲面镜的相对位置和投影仪全景子系统中的投影仪与第二双曲面镜的相对位置，使第一双曲面镜的双曲面的对称轴与相机的光轴在同一条直线上并使第一双曲面镜的外焦点与相机的光心重合，相机全景子系统的轴线定义为与相机的光轴和第一双曲面镜的对称轴在同一条直线上，使第二双曲面镜的双曲面的对称轴与投影仪的光轴在同一条直线上并使第二双曲面镜的外焦点与投影仪的光心重合，投影仪全景子系统的轴线定义为与投影仪的光轴和第二双曲面镜的对称轴在同一条直线上，相机全景子系统的轴线与投影仪全景子系统的轴线在同一条直线上以此直线作为结构光全景测量系统的轴线，轴向移动相机全景子系统和投影仪全景子系统以配置相机全景子系统和投影仪全景子系统的相对位置；

S3：设计变频的环形条纹模板图片和恒频的伞状条纹模板图片，得到四个模板图片组，即高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组，用于投影仪投影；

S4：建立相机全景子系统成像模型和投影仪全景子系统成像模型；

S5：根据步骤S3得到的四个模板图片组利用N_p步移相法结构光测量原理标定结构光全景测量系统，得到相机全景子系统的内参矩阵A_C、投影仪全景子系统的内参矩阵A_p以及投影仪全景子系统和相机全景子系统之间的位置关系矩阵

S6：将被测目标设置在结构光全景测量系统的视场中，结构光全景测量系统的视场为相机全景子系统和投影仪全景子系统形成的公共视场，根据步骤S4中建立的相机全景子系统成像模型和投影仪全景子系统成像模型和步骤S5中得到的相机全景子系统的内参矩阵A_C、投影仪全景子系统的内参矩阵A_p以及投影仪全景子系统和相机全景子系统之间的位置关系矩阵利用N_p步移相法结构光测量原理进行目标测量得到被测目标的三维坐标。

本发明的有益效果如下：

在根据本发明的结构光全景测量系统的测量方法中，利用两个双曲面镜，即第一双曲面镜和第二双曲面镜，分别与相机和投影仪构成相机全景子系统和投影仪全景子系统进而组成结构光全景测量系统，鉴于双曲面镜的非线性导致精度损失而导致对硬件的要求高，设计变频的环形条纹模板图片和恒频的伞状条纹模板图片以降低对硬件的要求从而保证较高的精度，而后建立相机全景子系统成像模型和投影仪全景子系统成像模型，并结合移相法结构光测量原理对被测目标的三维坐标进行测量，从而在保证较高精度的前提下操作简单的实现全景测量。

附图说明

图1是根据本发明的结构光全景测量系统的测量方法中的结构光全景测量系统的示意图；

图2是根据本发明的结构光全景测量系统的测量方法中的设计的条纹模板图片经过投影仪全景子系统反射后在以第二双曲面镜的内焦点为球心的球体表面均匀分布的示意图；

图3是图2的圆圈部分的放大图；

图4是根据本发明的结构光全景测量系统的测量方法中的设计的模板图片示意图，其中，左图为变频的环形条纹模板图片，右图为恒频的伞状条纹模板图片；

图5是根据本发明的结构光全景测量系统的测量方法中的建立的相机全景子系统成像模型的示意图；

图6是图1的简化示意图，以便清楚地示出结构光全景测量系统的视场；

图7是图6的结构光全景测量系统的构件的位置变化的示意图；

图8是图6的结构光全景测量系统的构件的另一位置变化的示意图。

其中，附图标记说明如下：

1 相机全景子系统 M 被测目标

11 第一双曲面镜 C 标定板

12 相机 A1 结构光全景测量系统的视场

2 投影仪全景子系统

21 第二双曲面镜 P0 被测目标表面上形成的图像

22 投影仪

O1 相机的光心 P 第二双曲面镜表面上形成的图像

O2 投影仪的光心

F1 第一双曲面镜的外焦点 X1 世界坐标系

F2 第一双曲面镜的内焦点 X2 相机全景子系统坐标系

V 相机的虚拟成像平面 X3 相机的图像物理坐标系

F01 第二双曲面镜的外焦点 X4 相机的图像像素坐标系

F02 第二双曲面镜的内焦点

具体实施方式

下面参照附图来详细说明根据本发明的结构光全景测量系统的测量方法。

参照图1至图8，本发明的结构光全景测量系统的测量方法包括步骤：

S1：设计相机全景子系统1的第一双曲面镜11和投影仪全景子系统2的第二双曲面镜21；

S2：设置相机全景子系统1中的相机12与第一双曲面镜11的相对位置和投影仪全景子系统2中的投影仪22与第二双曲面镜21的相对位置，使第一双曲面镜11的双曲面的对称轴与相机12的光轴在同一条直线上并使第一双曲面镜11的外焦点F1与相机12的光心O1重合，相机全景子系统1的轴线定义为与相机12的光轴和第一双曲面镜11的对称轴在同一条直线上，使第二双曲面镜21的双曲面的对称轴与投影仪22的光轴在同一条直线上并使第二双曲面镜21的外焦点F01与投影仪22的光心O2重合，投影仪全景子系统2的轴线定义为与投影仪22的光轴和第二双曲面镜21的对称轴在同一条直线上，相机全景子系统1的轴线与投影仪全景子系统2的轴线在同一条直线上以此直线作为结构光全景测量系统的轴线，轴向移动相机全景子系统1和投影仪全景子系统2以配置相机全景子系统1和投影仪全景子系统2的相对位置；

S3：设计变频的环形条纹模板图片和恒频的伞状条纹模板图片，得到四个模板图片组，即高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组，用于投影仪22投影；

S4：建立相机全景子系统成像模型和投影仪全景子系统成像模型；

S5：根据步骤S3得到的四个模板图片组利用N_p步移相法结构光测量原理标定结构光全景测量系统，得到相机全景子系统1的内参矩阵A_C、投影仪全景子系统2的内参矩阵A_p以及投影仪全景子系统2和相机全景子系统1之间的位置关系矩阵

S6：将被测目标M设置在结构光全景测量系统的视场A1中，结构光全景测量系统的视场A1为相机全景子系统1和投影仪全景子系统2形成的公共视场，根据步骤S4中建立的相机全景子系统成像模型和投影仪全景子系统成像模型和步骤S5中得到的相机全景子系统1的内参矩阵A_C、投影仪全景子系统2的内参矩阵A_p以及投影仪全景子系统2和相机全景子系统1之间的位置关系矩阵利用N_p步移相法结构光测量原理进行目标测量得到被测目标M的三维坐标。

在根据本发明的结构光全景测量系统的测量方法中，利用两个双曲面镜，即第一双曲面镜11和第二双曲面镜21，分别与相机12和投影仪22构成相机全景子系统1和投影仪全景子系统2进而组成结构光全景测量系统，鉴于双曲面镜的非线性导致精度损失而导致对硬件的要求高，设计变频的环形条纹模板图片和恒频的伞状条纹模板图片以降低对硬件的要求从而保证较高的精度，而后建立相机全景子系统成像模型和投影仪全景子系统成像模型，并结合移相法结构光测量原理对被测目标的三维坐标进行测量，从而在保证较高精度的前提下操作简单的实现全景测量。

在根据本发明的结构光全景测量系统的测量方法中，步骤S1中的相机全景子系统1的第一双曲面镜11的设计是利用相机12的光心O1的位置、相机12的镜头尺寸和相机12的视场角来确定第一双曲面镜11的底面圆直径和顶点位置以设计第一双曲面镜11，步骤S1中的投影仪全景子系统2的第二双曲面镜21的设计是利用投影仪22的光心O2的位置、投影仪22的镜头尺寸和投影仪22的视场角来确定第二双曲面镜21的底面圆直径和顶点位置以设计第二双曲面镜21。

在根据本发明的结构光全景测量系统的测量方法中，参照图2和图3，步骤S3中变频的环形条纹模板图片和恒频的伞状条纹模板图片的设计过程包括步骤S31、S32、S33和S34。

S31：在二维平面O_PX_PZ_P内设计变频的环形条纹模板图片，坐标系O_P-X_PZ_P以第二双曲面镜21的内焦点F02为原点O_P，第二双曲面镜21的对称轴为Z_P轴，假设将期望投影仪22投射的变频的环形条纹模板图片照射在第二双曲面镜21上，经过第二双曲面镜21反射，反射后在被测目标M表面上形成的图像P0是恒频率均匀的，期望频率为f₀，灰度值为其中，为结构光全景测量系统的轴线与经过第二双曲面镜21反射的光线的夹角，双曲面镜为双叶双曲面且旋转对称，则第二双曲面镜21的镜面方程为在二维平面O_PX_PZ_P内的截面方程为式中，a和b分别为双叶双曲面的实轴和虚轴参数，c为第二双曲面镜21的内焦点F02到投影仪22的光心O2的距离的一半，由几何关系将形成在被测目标M表面上的期望频率为f₀、灰度值为的图像P0映射到第二双曲面镜21的表面上形成的灰度值为I_s＝F(f₀|x,z)的图像P，根据截面方程则第二双曲面镜21的表面上形成的灰度值为I_s＝F(f₀|x,z)的图像P在X轴上的投影I_x＝F(f₀,a,b,c|x)，进一步根据小孔成像模型，得到投影仪22的虚拟成像平面上的光强分布I_P＝F(f₀,a,b,c|f(r),r)，式中，f(r)为变频的环形条纹模板图片中环形条纹的频率，r为变频的环形条纹模板图片中的一点[u,v]^T到图片中心[u₀,v₀]^T的像素距离；

S32：根据步骤S31中得到的投影仪22的虚拟成像平面上的光强分布I_P＝F(f₀,a,b,c|f(r),r)计算得到变频的环形条纹模板图片中的环形条纹的频率f(r)；

S33：根据步骤S32中得到的变频的环形条纹模板图片的频率f(r)设计高频环形条纹模板图片组和低频环形条纹模板图片组，环形条纹模板图片组的灰度值为其中，N_p为环形条纹模板图片组中图片的数量；k为第k张图片；A和B为常数，用于调制图片的灰度值处于0-255的范围内，选择两个不同频率f_h(r)和f_l(r)，值f_h比值f_l大，则可得到两组不同灰度值I_pk(r,f_h(r))和I_pk(r,f_l(r))的环形条纹模板图片，即高频环形条纹模板图片组和低频环形条纹模板图片组；

S34：选择两个不同频率f′_h和f′_l，f′_h的值比f′_l的值大，恒频的伞状条纹模板图片组的灰度值为则可得到两组不同灰度值I′_pk(θ,f′_h)和I′_pk(θ,f′_l)的伞状条纹模板图片，即高频伞状条纹模板图片组和低频伞状条纹模板图片组，其中，高频伞状条纹模板图片组和低频伞状条纹模板图片组均有N_p张图片。f′_h和f′_l的选择可以依据实际情况来确定，为了后面标定板C上、模板图片以及测量目标的像素坐标处的周向的绝对相位值的求取更准确，低频伞状条纹模板图片的周期可取为1，则低频伞状条纹模板图片的频率f′_l为高频伞状条纹模板图片的周期不能太高也不能太低，可根据伞状条纹模板图片的伞状条纹的最外圈的像素坐标处对应的像素点的数目来取值，从而可确定高频伞状条纹模板图片的频率f′_h。

在这里补充说明的是，因为步骤S5中是利用N_p步移相法结构光测量原理标定结构光全景测量系统且步骤S6中是利用N_p步移相法结构光测量原理进行目标测量得到被测目标M的三维坐标，所以设计变频的环形条纹模板片组和恒频的伞状条纹模板图片组中的图片的数量也为N_p，与移相法结构光测量原理的移相步数N_p一致。

在根据本发明的结构光全景测量系统的测量方法中，参照图5，步骤S4中相机全景子系统成像模型建立方法为：基于Scaramuzza的方法，将第一双曲面镜11和相机12看作一个整体，则相机全景子系统1可用多项式模型描述为：

其中，X＝[X,Y,Z,1]^T表示世界坐标系X1中任意空间点的齐次坐标；P为相机全景子系统1的外参矩阵，P＝[R|T]，分别表示世界坐标系X1和相机全景子系统坐标系X2之间的旋转转换矩阵和平移转换矩阵；u″＝[u″,v″]^T是图像的物理坐标，与图像的像素坐标u′＝[u′,v′]^T的仿射变换关系为u″＝Au′+t，表达了图像的数字图像化过程；a_i,i＝0,1,2,…,N是多项式系数；ρ″是点u″＝[u″,v″]^T到相机12的光轴的物理距离，λ为系数与X＝[X,Y,Z,1]^T中的Z值有关，λ＞0限制光向量q_c只能来自于相机12的传感器的一侧；q_c＝[u″,v″,w″]^T是相机全景子系统坐标系X2下与相机12的图像的像素坐标u′＝[u′,v′]^T对应的光向量；

步骤S4中投影仪全景子系统成像模型建立方法为：基于Scaramuzza的方法，将第二双曲面镜21和投影仪22看作一个整体，则投影仪全景子系统2可用多项式模型描述为：

其中，X′＝[X′,Y′,Z′,1]^T表示世界坐标系X1中任意空间点的齐次坐标；P′为投影仪全景子系统2的外参矩阵，P′＝[R′|T′]，分别表示世界坐标系X1和投影仪全景子系统坐标系O_P-X_PY_PZ_P之间的旋转转换矩阵和平移转换矩阵；u″_p＝[u″_p,v″_p]^T是图像的物理坐标，与图像的像素坐标u′_p＝[u′_p,v′_p]^T的仿射变换关系为u″_p＝A′u′_p+t_p，表达了图像的数字图像化过程；a′_i,i＝0,1,2,…,N是多项式系数；ρ″_p是点u″_p＝[u″_p,v″_p]^T到投影仪22的光轴的物理距离，λ′为系数与X′＝[X′,Y′,Z′,1]^T中的Z′值有关，λ′＞0限制光向量q_p只能来自于投影仪22的传感器的一侧；q_p＝[u″_p,v″_p,w″_p]^T是投影仪全景子系统坐标系O_P-X_PY_PZ_P下与投影仪22的图像像素坐标u′_p＝[u′_p,v′_p]^T对应的光向量。

在这里补充说明的是，参照图1，世界坐标系X1是指原点在标定板C或被测目标M的左上角的坐标系，坐标单位是毫米(mm)，相机全景子系统坐标系X2是指原点在第一双曲面镜11的内焦点F2的坐标系，坐标单位是毫米(mm)，投影仪全景子系统坐标系O_P-X_PY_PZ_P是指原点O_P在第二双曲面镜21的内焦点F02的坐标系，坐标单位是毫米(mm)，参照图5，相机12的图像物理坐标系X3是指原点在相机12的虚拟成像平面(V)上的图像与相机12的光轴的交点O3的坐标系，坐标单位是毫米(mm)，相机12的图像像素坐标系X4是指原点在相机12的虚拟成像平面上的图像的左上角的坐标系，坐标单位是像素(pixel)。同样对于投影仪22，投影仪22的图像物理坐标系X3是指原点在投影仪22的虚拟成像平面上的图像与投影仪22的光轴的交点的坐标系，坐标单位是毫米(mm)，投影仪22的图像像素坐标系X4是指原点在投影仪22的虚拟成像平面上的图像的左上角的坐标系，坐标单位是像素(pixel)。

基于Scaramuzza的方法建立的相机全景子系统成像模型和投影仪全景子系统成像模型具体参见DavideScaramuzza的论文“AFlexible Technique for Accurate Omnidirectional CameraCalibration and Structure from Motion[C]//IEEE International Conference onComputer Vision Systems.IEEE,2006:45”和“A Toolbox for Easily CalibratingOmnidirectional Cameras[C]//Ieee/rsj International Conference on IntelligentRobots and Systems.2006:5695-5701”。

在根据本发明的结构光全景测量系统的测量方法中，步骤S5中利用移相法结构光测量原理对结构光全景测量系统的标定包括标定相机全景子系统1的内参矩阵A_C、投影仪全景子系统2的内参矩阵A_p以及投影仪全景子系统2和相机全景子系统1之间的位置关系矩阵标定过程包括步骤：

S51：在结构光全景测量系统的视场A1放置一标定板C，标定板C上设有多个标志点，记录标定板C当前的位姿pos₁，得到标定板C上的多个标志点的标志点中心在世界坐标系X1下的坐标；

S52：用投影仪22将一张全白投影图片投射在标定板C上，用相机12拍摄标定板C得到第一图片，然后用投影仪22将步骤S3中得到的高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组依次投射在标定板C上，并同时用相机12拍摄标定板C得到第一标定板图片组、第二标定板图片组、第三标定板图片组和第四标定板图片组；

S53：根据步骤S52中得到的第一图片通过计算第一图片的图像梯度、边缘检测、椭圆拟合进而计算得到标定板C上的多个标志点的标志点中心在相机12的图像坐标系下的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T，根据步骤S52中得到的第一标定板图片组、第二标定板图片组、第三标定板图片组和第四标定板图片组计算得到标定板C上的多个标志点的标志点中心的亚像素级的坐标处U₀₁＝[u₀₁,v₀₁]^T径向的绝对相位值和周向的绝对相位值

S54：利用步骤S3中得到的四个模板图片组计算得到模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值根据步骤S53中得到标定板C上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处径向的绝对相位值和周向的绝对相位值与模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值对应相等求得标定板C上的多个标志点的标志点中心在投影仪22的图像坐标系下的亚像素级的坐标U′₀₁＝[u′₀₁,v′₀₁]^T；

S55：改变标定板C的位姿pos_i，i＝2,3,...,M，重复步骤S51-S54，共得到M组标定板C上的多个标志点的标志点中心在世界坐标系X1下的坐标、M组标定板C上的多个标志点的标志点中心在相机12的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板C上的多个标志点的标志点中心在投影仪22的图像坐标系下的亚像素级的坐标U′_0i＝[u′_0i,v′_0i]^T；

S56：根据步骤S55中得到的M组标定板C上的多个标志点的标志点中心在世界坐标系X1下的坐标、M组标定板C上的多个标志点的标志点中心在相机12的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板C上的多个标志点的标志点中心在投影仪22的图像坐标系下的亚像素级的坐标U′_0i＝[u′_0i,v′_0i]^T，利用Scaramuzza的Matlab全景相机标定工具箱计算得到相机全景子系统1的内参矩阵A_C＝[a₀,...,a_N,A,t]、投影仪全景子系统2的内参矩阵A_p＝[a′₀,...,a′_N,A′,t_p]、标定板C在相机全景子系统坐标系X2下的外参矩阵P和标定板C在投影仪全景子系统坐标系O_P-X_PY_PZ_P下的外参矩阵P′；

S57：根据步骤S56中得到的标定板C在相机全景子系统坐标系X2下的外参矩阵P和标定板C在投影仪全景子系统坐标系O_P-X_PY_PZ_P下的外参矩阵P′，得到投影仪全景子系统2和相机全景子系统1之间的位置关系矩阵

在这里补充说明的是，标定板C在相机全景子系统坐标系X2下的外参矩阵P、标定板C在投影仪全景子系统坐标系O_P-X_PY_PZ_P下的外参矩阵P′和投影仪全景子系统2和相机全景子系统1之间的位置关系矩阵均包括旋转矩阵和平移矩阵。

在根据本发明的结构光全景测量系统的测量方法中，步骤S53中标定板C上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处径向的绝对相位值为计算过程为：

首先用第一标定板图片组、第二标定板图片组计算标定板C上的像素坐标处径向的绝对相位值为：

式中，[·]为取整符号，和分别为低频径向和高频径向的相对相位值，表达为：

式中，c_1k表示第一标定板图片组中的第k张图片的灰度值，c_2k表示第二标定板图片组中的第k张图片的灰度值，k＝1,2,...,N，

然后用插值法得到标定板C上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处径向的绝对相位值为

步骤S55中的标定板C上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处周向的绝对相位值为计算过程为：

首先用第三标定板图片组、第四标定板图片组计算标定板C上的像素坐标处周向的绝对相位值为：

式中，[·]为取整符号，和分别为低频周向和高频周向的相对相位值，表达为：

式中，c_3k表示第三标定板图片组中的第k张图片的灰度值，c_4k表示第四标定板图片组中的第k张图片的灰度值，k＝1,2,...,N，

然后用插值法得到标定板C上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处周向的绝对相位值为

步骤S54模板图片的像素坐标处径向的绝对相位值为和周向的绝对相位值为计算过程为：

首先用低频环形条纹模板图片组和高频环形条纹模板图片组投射到标定板C上的图像组计算模板图片的像素坐标处径向的绝对相位值为：

其中，[·]为取整符号，和分别为低频径向和高频径向的相对相位值，表达为：

其中，p_1k表示低频环形条纹模板图片组中的第k张图片，p_2k表示高频环形条纹模板图片组中的第k张图片，k＝1,2,...,N，

然后用低频伞状条纹模板图片组和高频伞状条纹模板图片组计算模板图片的像素坐标处周向的绝对相位值为：

其中，[·]为取整符号，和分别为低频周向和高频周向的相对相位值，表达为：

其中，p_3k表示低频伞状条纹模板图片组中的第k张图片的灰度值，p_4k表示高频伞状条纹模板图片组中的第k张图片的灰度值，k＝1,2,...,N。

在根据本发明的结构光全景测量系统的测量方法中，步骤S6中根据步骤S4中建立的相机全景子系统成像模型和投影仪全景子系统成像模型，利用移相法结构光测量原理进行目标测量包括步骤：

S61：用相机12拍摄被测目标M得到被测目标图片，得到被测目标M在相机12的图像坐标系下的像素坐标u′＝[u′,v′]^T；

S62：打开投影仪22，将步骤S3中得到的高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组投射到被测目标M上，用相机12拍摄被测目标M，得到第一被测目标图片组、第二被测目标图片组、第三被测目标图片组和第四被测目标图片组，

S63：利用步骤S62中的第一被测目标图片组、第二被测目标图片组、第三被测目标图片组和第四被测目标图片组计算测量目标的像素坐标处径向的绝对相位值和周向的绝对相位值；

S64：利用高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组计算得到模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值；

S65：利用步骤S63中的测量目标的像素坐标处径向的绝对相位值和周向的绝对相位值与步骤S64中的模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值相等得到测量目标在投影仪22的图像坐标系下的像素坐标u′_p＝[u′_p,v′_p]^T；

S66：将步骤S61中得到的被测目标M在相机12的图像坐标系下的像素坐标u′＝[u′,v′]^T、步骤S56中得到的相机全景子系统1的内参矩阵A_C＝[a₀,...,a_N,A,t]、投影仪全景子系统2的内参矩阵A_p＝[a′₀,...,a′_N,A′,t_p]代入步骤S4中建立的相机全景子系统成像模型中的图像的物理坐标u″＝[u″,v″]^T与图像的像素坐标u′＝[u′,v′]^T的仿射变换关系式u″＝Au′+t中且进一步代入相机全景子系统成像模型中计算得到光向量q_c，将步骤S65中得到的被测目标M在投影仪22的图像坐标系下的像素坐标u′_p＝[u′_p,v′_p]^T代入步骤S4中建立的投影仪全景子系统成像模型中的图像的物理坐标u″_p＝[u″_p,v″_p]^T与图像的像素坐标u′_p＝[u′_p,v′_p]^T的仿射变换关系式u″_p＝A′u′_p+t_p中且进一步带入投影仪全景子系统模型中计算得到光向量q_p，再根据步骤S57中得到的投影仪全景子系统和相机全景子系统之间的位置关系矩阵将q_p转换到相机全景子系统坐标系X2中，然后根据光向量q_c和转换到相机全景子系统坐标系X2中的光向量q_p利用空间直线相交计算得到被测目标M的三维坐标。

在这里补充说明的是步骤S63中测量目标的像素坐标处径向的绝对相位值和周向的绝对相位值的计算方法与步骤S53中计算标定板C上的多个标志点的标志点中心的亚像素级的坐标处U₀₁＝[u₀₁,v₀₁]^T径向的绝对相位值和周向的绝对相位值时计算标定板C上的像素坐标处径向的绝对相位值和周向的绝对相位值的方法相同，步骤S64中的模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值的计算方法与步骤S54中计算模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值方法相同，在这里不再赘述。

结构光全景测量系统的视场A1为相机全景子系统1和投影仪全景子系统2形成的公共视场。

在根据本发明的结构光全景测量系统的测量方法中，结构光全景测量系统的相机全景子系统1和投影仪全景子系统2在轴线的相对位置可根据具体硬件条件而自行设置，如图6所示，根据本发明的结构光全景测量系统的测量方法中的结构光全景测量系统的一实施例相机全景子系统1设置在投影仪全景子系统2的投影仪22的一侧，如图7所示，根据本发明的结构光全景测量系统的测量方法中的结构光全景测量系统的又一实施例相机全景子系统1设置在投影仪全景子系统2的投影仪22和第二双曲面镜21之间，如图8所示，根据本发明的结构光全景测量系统的测量方法中的结构光全景测量系统的另一实施例相机全景子系统1设置在投影仪全景子系统2的第二双曲面镜21的一侧。

Claims (9)

1.一种结构光全景测量系统的测量方法，其特征在于，包括步骤：

S1：设计相机全景子系统(1)的第一双曲面镜(11)和投影仪全景子系统(2)的第二双曲面镜(21)；

S2：设置相机全景子系统(1)中的相机(12)与第一双曲面镜(11)的相对位置和投影仪全景子系统(2)中的投影仪(22)与第二双曲面镜(21)的相对位置，使第一双曲面镜(11)的双曲面的对称轴与相机(12)的光轴在同一条直线上并使第一双曲面镜(11)的外焦点(F1)与相机(12)的光心(O1)重合，相机全景子系统(1)的轴线定义为与相机(12)的光轴和第一双曲面镜(11)的对称轴在同一条直线上，使第二双曲面镜(21)的双曲面的对称轴与投影仪(22)的光轴在同一条直线上并使第二双曲面镜(21)的外焦点(F01)与投影仪(22)的光心(O2)重合，投影仪全景子系统(2)的轴线定义为与投影仪(22)的光轴和第二双曲面镜(21)的对称轴在同一条直线上，相机全景子系统(1)的轴线与投影仪全景子系统(2)的轴线在同一条直线上以此直线作为结构光全景测量系统的轴线，轴向移动相机全景子系统(1)和投影仪全景子系统(2)以配置相机全景子系统(1)和投影仪全景子系统(2)的相对位置；

S3：设计变频的环形条纹模板图片和恒频的伞状条纹模板图片，得到四个模板图片组，即高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组，用于投影仪(22)投影；

S4：建立相机全景子系统成像模型和投影仪全景子系统成像模型；

S5：根据步骤S3得到的四个模板图片组利用N_p步移相法结构光测量原理标定结构光全景测量系统，得到相机全景子系统(1)的内参矩阵A_C、投影仪全景子系统(2)的内参矩阵A_p以及投影仪全景子系统(2)和相机全景子系统(1)之间的位置关系矩阵

S6：将被测目标(M)设置在结构光全景测量系统的视场(A1)中，结构光全景测量系统的视场(A1)为相机全景子系统(1)和投影仪全景子系统(2)形成的公共视场，根据步骤S4中建立的相机全景子系统成像模型和投影仪全景子系统成像模型和步骤S5中得到的相机全景子系统(1)的内参矩阵A_C、投影仪全景子系统(2)的内参矩阵A_p以及投影仪全景子系统(2)和相机全景子系统(1)之间的位置关系矩阵利用N_p步移相法结构光测量原理进行目标测量得到被测目标(M)的三维坐标。

2.根据权利要求1所述的结构光全景测量系统的测量方法，其特征在于，步骤S1中的相机全景子系统(1)的第一双曲面镜(11)的设计是利用相机(12)的光心(O1)的位置、相机(12)的镜头尺寸和相机(12)的视场角来确定第一双曲面镜(11)的底面圆直径和顶点位置以设计第一双曲面镜(11)，步骤S1中的投影仪全景子系统(2)的第二双曲面镜(21)的设计是利用投影仪(22)的光心(O2)的位置、投影仪(22)的镜头尺寸和投影仪(22)的视场角来确定第二双曲面镜(21)的底面圆直径和顶点位置以设计第二双曲面镜(21)。

3.根据权利要求1所述的结构光全景测量系统的测量方法，其特征在于，步骤S3中变频的环形条纹模板图片和恒频的伞状条纹模板图片的设计过程包括步骤：

S31：在二维平面O_PX_PZ_P内设计变频的环形条纹模板图片，坐标系O_P-X_PZ_P以第二双曲面镜(21)的内焦点(F02)为原点O_P，第二双曲面镜(21)的对称轴为Z_P轴，假设将期望投影仪(22)投射的变频的环形条纹模板图片照射在第二双曲面镜(21)上，经过第二双曲面镜(21)反射，反射后在被测目标(M)表面上形成的图像(P0)是恒频率均匀的，期望频率为f₀，灰度值为其中，为结构光全景测量系统的轴线与经过第二双曲面镜(21)反射的光线的夹角，双曲面镜为双叶双曲面且旋转对称，则第二双曲面镜(21)的镜面方程为在二维平面O_PX_PZ_P内的截面方程为式中，a和b分别为双叶双曲面的实轴和虚轴参数，c为第二双曲面镜(21)的内焦点(F02)到投影仪(22)的光心(O2)的距离的一半，由几何关系将形成在被测目标(M)表面上的期望频率为f₀、灰度值为的图像(P0)映射到第二双曲面镜(21)的表面上形成的灰度值为I_s＝F(f₀|x,z)的图像(P)，根据截面方程则第二双曲面镜(21)的表面上形成的灰度值为I_s＝F(f₀|x,z)的图像(P)在X轴上的投影I_x＝F(f₀,a,b,c|x)，进一步根据小孔成像模型，得到投影仪(22)的虚拟成像平面上的光强分布I_P＝F(f₀,a,b,c|f(r),r)，式中，f(r)为变频的环形条纹模板图片中环形条纹的频率，r为变频的环形条纹模板图片中的一点[u,v]^T到图片中心[u₀,v₀]^T的像素距离；

S32：根据步骤S31中得到的投影仪(22)的虚拟成像平面上的光强分布I_P＝F(f₀,a,b,c|f(r),r)计算得到变频的环形条纹模板图片中的环形条纹的频率f(r)；

S33：根据步骤S32中得到的变频的环形条纹模板图片的频率f(r)设计高频环形条纹模板图片组和低频环形条纹模板图片组，环形条纹模板图片组的灰度值为其中，N_p为环形条纹模板图片组中图片的数量；k为第k张图片；A和B为常数，用于调制图片的灰度值处于0-255的范围内，选择两个不同频率f_h(r)和f_l(r)，值f_h比值f_l大，则可得到两组不同灰度值I_pk(r,f_h(r))和I_pk(r,f_l(r))的环形条纹模板图片，即高频环形条纹模板图片组和低频环形条纹模板图片组；

S34：选择两个不同频率f′_h和f′_l，f′_h的值比f′_l的值大，恒频的伞状条纹模板图片组的灰度值为则可得到两组不同灰度值I'_pk(θ,f′_h)和I'_pk(θ,f′_l)的伞状条纹模板图片，即高频伞状条纹模板图片组和低频伞状条纹模板图片组，其中，高频伞状条纹模板图片组和低频伞状条纹模板图片组均有N_p张图片。

4.根据权利要求1所述的结构光全景测量系统的测量方法，其特征在于，步骤S4中相机全景子系统成像模型建立方法为：基于Scaramuzza的方法，将第一双曲面镜(11)和相机(12)看作一个整体，则相机全景子系统(1)可用多项式模型描述为：

$q_c=\mathrm{\λ}\left[\begin{array}{c}{u}^{\′\′}\\ a_0+...+a_N{\mathrm{\ρ}}^{\′\′N}\end{array}\right]=P\·X,\mathrm{\λ}>0$

其中，X＝[X,Y,Z,1]^T表示世界坐标系(X1)中任意空间点的齐次坐标；P为相机全景子系统(1)的外参矩阵，P＝[R|T]，分别表示世界坐标系(X1)和相机全景子系统坐标系(X2)之间的旋转转换矩阵和平移转换矩阵；u”＝[u”,v”]^T是图像的物理坐标，与图像的像素坐标u'＝[u',v']^T的仿射变换关系为u”＝Au'+t，表达了图像的数字图像化过程；a_i,i＝0,1,2,…,N是多项式系数；ρ”是点u”＝[u”,v”]^T到相机(12)的光轴的物理距离，λ为系数与X＝[X,Y,Z,1]^T中的Z值有关，λ＞0限制光向量q_c只能来自于相机(12)的传感器的一侧；q_c＝[u”,v”,w”]^T是相机全景子系统坐标系(X2)下与相机(12)的图像的像素坐标u'＝[u',v']^T对应的光向量；

步骤S4中投影仪全景子系统成像模型建立方法为：基于Scaramuzza的方法，将第二双曲面镜(21)和投影仪(22)看作一个整体，则投影仪全景子系统(2)可用多项式模型描述为：

$q_p={\mathrm{\λ}}^{\′}\left[\begin{array}{c}{u}_p^{\′\′}\\ a_0^{\′}+...+a_N^{\′}{\mathrm{\ρ}}_p^{\′\′N}\end{array}\right]=P^{\′}\·X^{\′},{\mathrm{\λ}}^{\′}>0$

其中，X'＝[X',Y',Z',1]^T表示世界坐标系(X1)中任意空间点的齐次坐标；P'为投影仪全景子系统(2)的外参矩阵，P'＝[R'|T']，分别表示世界坐标系(X1)和投影仪全景子系统坐标系O_P-X_PY_PZ_P之间的旋转转换矩阵和平移转换矩阵；u″_p＝[u″_p,v″_p]^T是图像的物理坐标，与图像的像素坐标u'_p＝[u'_p,v'_p]^T的仿射变换关系为u″_p＝A'u'_p+t_p，表达了图像的数字图像化过程；a_i',i＝0,1,2,…,N是多项式系数；ρ"_p是点u″_p＝[u″_p,v″_p]^T到投影仪(22)的光轴的物理距离，λ'为系数与X'＝[X',Y',Z',1]^T中的Z'值有关，λ'＞0限制光向量q_p只能来自于投影仪(22)的传感器的一侧；q_p＝[u″_p,v″_p,w″_p]^T是投影仪全景子系统坐标系O_P-X_PY_PZ_P下与投影仪(22)的图像像素坐标u'_p＝[u'_p,v'_p]^T对应的光向量。

5.根据权利要求1所述的结构光全景测量系统的测量方法，其特征在于，步骤S5中利用移相法结构光测量原理对结构光全景测量系统的标定包括标定相机全景子系统(1)的内参矩阵A_C、投影仪全景子系统(2)的内参矩阵A_p以及投影仪全景子系统(2)和相机全景子系统(1)之间的位置关系矩阵标定过程包括步骤：

S51：在结构光全景测量系统的视场(A1)放置一标定板(C)，标定板(C)上设有多个标志点，记录标定板(C)当前的位姿pos₁，得到标定板(C)上的多个标志点的标志点中心在世界坐标系(X1)下的坐标；

S52：用投影仪(22)将一张全白投影图片投射在标定板(C)上，用相机(12)拍摄标定板(C)得到第一图片，然后用投影仪(22)将步骤S3中得到的高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组依次投射在标定板(C)上，并同时用相机(12)拍摄标定板(C)得到第一标定板图片组、第二标定板图片组、第三标定板图片组和第四标定板图片组；

S53：根据步骤S52中得到的第一图片通过计算第一图片的图像梯度、边缘检测、椭圆拟合进而计算得到标定板(C)上的多个标志点的标志点中心在相机(12)的图像坐标系下的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T，根据步骤S52中得到的第一标定板图片组、第二标定板图片组、第三标定板图片组和第四标定板图片组计算得到标定板(C)上的多个标志点的标志点中心的亚像素级的坐标处U₀₁＝[u₀₁,v₀₁]^T径向的绝对相位值和周向的绝对相位值

S54：利用步骤S3中得到的四个模板图片组计算得到模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值根据步骤S53中得到标定板(C)上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处径向的绝对相位值和周向的绝对相位值与模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值对应相等求得标定板(C)上的多个标志点的标志点中心在投影仪(22)的图像坐标系下的亚像素级的坐标U'₀₁＝[u'₀₁,v'₀₁]^T；

S55：改变标定板(C)的位姿pos_i，i＝2,3,...,M，重复步骤S51-S54，共得到M组标定板(C)上的多个标志点的标志点中心在世界坐标系(X1)下的坐标、M组标定板(C)上的多个标志点的标志点中心在相机(12)的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板(C)上的多个标志点的标志点中心在投影仪(22)的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T；

S56：根据步骤S55中得到的M组标定板(C)上的多个标志点的标志点中心在世界坐标系(X1)下的坐标、M组标定板(C)上的多个标志点的标志点中心在相机(12)的图像坐标系下的亚像素级的坐标U_0i＝[u_0i,v_0i]^T和M组标定板(C)上的多个标志点的标志点中心在投影仪(22)的图像坐标系下的亚像素级的坐标U'_0i＝[u'_0i,v'_0i]^T，利用Scaramuzza的Matlab全景相机标定工具箱计算得到相机全景子系统(1)的内参矩阵A_C＝[a₀,...,a_N,A,t]、投影仪全景子系统(2)的内参矩阵A_p＝[a'₀,...,a'_N,A',t_p]、标定板(C)在相机全景子系统坐标系(X2)下的外参矩阵P和标定板(C)在投影仪全景子系统坐标系O_P-X_PY_PZ_P下的外参矩阵P'；

S57：根据步骤S56中得到的标定板(C)在相机全景子系统坐标系(X2)下的外参矩阵P和标定板(C)在投影仪全景子系统坐标系O_P-X_PY_PZ_P下的外参矩阵P'，得到投影仪全景子系统(2)和相机全景子系统(1)之间的位置关系矩阵

6.根据权利要求5所述的结构光全景测量系统的测量方法，其特征在于，步骤S53中标定板(C)上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处径向的绝对相位值为计算过程为：

首先用第一标定板图片组、第二标定板图片组计算标定板(C)上的像素坐标处径向的绝对相位值为：

式中，[·]为取整符号，和分别为低频径向和高频径向的相对相位值，表达为：

式中，c_1k表示第一标定板图片组中的第k张图片的灰度值，c_2k表示第二标定板图片组中的第k张图片的灰度值，k＝1,2,...,N，

然后用插值法得到标定板(C)上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处径向的绝对相位值为

步骤S55中的标定板(C)上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处周向的绝对相位值为计算过程为：

首先用第三标定板图片组、第四标定板图片组计算标定板(C)上的像素坐标处周向的绝对相位值为：

式中，[·]为取整符号，和分别为低频周向和高频周向的相对相位值，表达为：

式中，c_3k表示第三标定板图片组中的第k张图片的灰度值，c_4k表示第四标定板图片组中的第k张图片的灰度值，k＝1,2,...,N，

然后用插值法得到标定板(C)上的多个标志点的标志点中心的亚像素级的坐标U₀₁＝[u₀₁,v₀₁]^T处周向的绝对相位值为

7.根据权利要求5所述的结构光全景测量系统的测量方法，其特征在于，步骤S54模板图片的像素坐标处径向的绝对相位值为和周向的绝对相位值为计算过程为：

首先用低频环形条纹模板图片组和高频环形条纹模板图片组投射到标定板(C)上的图像组计算模板图片的像素坐标处径向的绝对相位值为：

其中，[·]为取整符号，和分别为低频径向和高频径向的相对相位值，表达为：

其中，p_1k表示低频环形条纹模板图片组中的第k张图片，p_2k表示高频环形条纹模板图片组中的第k张图片，k＝1,2,...,N，

然后用低频伞状条纹模板图片组和高频伞状条纹模板图片组计算模板图片的像素坐标处周向的绝对相位值为：

其中，[·]为取整符号，和分别为低频周向和高频周向的相对相位值，表达为：

其中，p_3k表示低频伞状条纹模板图片组中的第k张图片的灰度值，p_4k表示高频伞状条纹模板图片组中的第k张图片的灰度值，k＝1,2,...,N。

8.根据权利要求4或5所述的结构光全景测量系统的测量方法，其特征在于，步骤S6中根据步骤S4中建立的相机全景子系统成像模型和投影仪全景子系统成像模型，利用移相法结构光测量原理进行目标测量包括步骤：

S61：用相机(12)拍摄被测目标(M)得到被测目标图片，得到被测目标(M)在相机(12)的图像坐标系下的像素坐标u'＝[u',v']^T；

S62：打开投影仪(22)，将步骤S3中得到的高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组投射到被测目标(M)上，用相机(12)拍摄被测目标(M)，得到第一被测目标图片组、第二被测目标图片组、第三被测目标图片组和第四被测目标图片组，

S63：利用步骤S62中的第一被测目标图片组、第二被测目标图片组、第三被测目标图片组和第四被测目标图片组计算测量目标的像素坐标处径向的绝对相位值和周向的绝对相位值；

S64：利用高频环形条纹模板图片组、低频环形条纹模板图片组、高频伞状条纹模板图片组和低频伞状条纹模板图片组计算得到模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值；

S65：利用步骤S63中的测量目标的像素坐标处径向的绝对相位值和周向的绝对相位值与步骤S64中的模板图片的像素坐标处径向的绝对相位值和周向的绝对相位值相等得到测量目标在投影仪(22)的图像坐标系下的像素坐标u'_p＝[u'_p,v'_p]^T；

S66：将步骤S61中得到的被测目标(M)在相机(12)的图像坐标系下的像素坐标u'＝[u',v']^T、步骤S56中得到的相机全景子系统1的内参矩阵A_C＝[a₀,...,a_N,A,t]、投影仪全景子系统2的内参矩阵A_p＝[a'₀,...,a'_N,A',t_p]代入步骤S4中建立的相机全景子系统成像模型中的图像的物理坐标u”＝[u”,v”]^T与图像的像素坐标u'＝[u',v']^T的仿射变换关系式u”＝Au'+t中且进一步代入相机全景子系统成像模型中计算得到光向量q_c，将步骤S65中得到的被测目标(M)在投影仪(22)的图像坐标系下的像素坐标u'_p＝[u'_p,v'_p]^T代入步骤S4中建立的投影仪全景子系统成像模型中的图像的物理坐标u″_p＝[u″_p,v″_p]^T与图像的像素坐标u'_p＝[u'_p,v'_p]^T的仿射变换关系式u″_p＝A'u'_p+t_p中且进一步带入投影仪全景子系统模型中计算得到光向量q_p，再根据步骤S57中得到的投影仪全景子系统和相机全景子系统之间的位置关系矩阵将q_p转换到相机全景子系统坐标系(X2)中，然后根据光向量q_c和转换到相机全景子系统坐标系(X2)中的光向量q_p利用空间直线相交计算得到被测目标(M)的三维坐标。

9.根据权利要求1所述的结构光全景测量系统的测量方法，其特征在于，相机全景子系统(1)设置在投影仪全景子系统(2)的投影仪(22)的一侧、投影仪全景子系统(2)的第二双曲面镜(21)的一侧或投影仪全景子系统(2)的投影仪(22)和第二双曲面镜(21)之间。