CN108230399B - 一种基于结构光技术的投影仪标定方法 - Google Patents

Abstract

本发明涉及一种基于结构光技术的投影仪标定方法，属于光测量技术领域。本发明的投影仪标定方法，利用结构光技术，使用光强传感模块感知经投影仪得到的结构光图像亮度变化，建立亮度变化与待标定投影仪图像的关系，建立并求解投影仪坐标和世界坐标的数学模型，得到待标定投影仪的内参矩阵M_in和外参矩阵M_ex，实现投影仪的标定。本发明方法可以使用任意已知三维结构的标定物进行投影仪标定，有效降低了标定投影仪所需的额外成本；标定过程中的每次循环仅采集一个定位点处的光强变化，并仅计算本定位点对应的图像坐标，减少了已有标定方法中对整个投影结构光区域进行计算的算法难度和复杂度，操作简单，提高了投影仪标定的工作效率。

Description

一种基于结构光技术的投影仪标定方法

技术领域

本发明涉及一种基于结构光技术的投影仪标定方法，属于光测量技术领域。

背景技术

投影仪在结构光三维测量、VR技术等方面有重要的应用，而这些应用的前提通常需要准确的内外参标定。投影仪和相机具有相类似的构成，并且相机标定已存在相对成熟的算法，然而投影仪不能像相机一样成像，这就是投影仪标定的困难所在，如何利用相机标定的算法去标定投影仪仍是相关领域的研究重点。

目前投影仪标定主要是借助于结构光技术和相机，如华中科技大学申请的专利，名称为一种投影仪标定方法，专利公开号为：CN201510140481.0，主要过程如下：通过投影仪投射结构光到棋盘格标定板上，然后相机捕捉棋盘格图像并进行解码，通过相位值建立投影仪图像坐标和标定板三维坐标的映射，即计算得到棋盘格角点的投影仪图像坐标，改变标定板位姿重复以上过程得到多组标定板角点的投影仪图像坐标，由于标定板上棋盘格角点三维世界坐标已知，最后利用张正友相机标定算法进行投影仪标定。该标定过程比较复杂，且通过相机进行标定必然造成成本增加、由于坐标传递容易引起精度损失。

发明内容

本发明的目的是提出一种基于结构光技术的投影仪标定方法，利用已有的结构光技术和光强传感模块进行投影仪标定，以降低投影仪标定的硬件成本，并且直接建立投影仪图像坐标和三维世界坐标的映射关系，消除图像坐标转换引起的系统误差。

本发明提出的基于结构光技术的投影仪标定方法，包括以下步骤：

(1)使待标定投影仪分别与图形处理模块、数据处理模块和光强传感模块相连接，将标定物置于投影仪视野范围内，将光强传感模块置于标定物的一个定位点上，

(2)建立一个待标定投影仪坐标系和一个世界坐标系，所述的待标定投影仪坐标系为一个三维右手坐标系，该三维右手坐标系以待标定投影仪光心为坐标原点O、光轴为Z轴，方向向外为正，待标定投影仪坐标系的X轴和Y轴分别与待标定投影仪芯片的水平方向和竖直方向平行，所述的世界坐标系建立在标定物上，世界坐标系的坐标原点O′和三个坐标轴X′、Y′、Z′的方向任意选取；

(3)上述步骤(1)的图形处理模块生成两个横竖方向的N_p步相移法结构光投影图像序列，记为竖向投影图像序列P_h和横向投影图像序列P_v，使P_h和P_v中的第i幅图像投影的数学模型为：

其中，i表示投影图像序号，i＝0,1,…,N_p，N_p表示相移法的步数，即每个投影图像序列中图像的数量，P_i为投影图像的灰度值，P_i的取值为0到255之间的整数值，f是条纹频率，t表示沿着条纹方向的像素值，t＝1,2,3…N，其中对于竖向图像投影序列P_v，N表示图像高度，对于横向图像投影序列P_v，N表示图像宽度，为投影图像三角波条纹的初始相位值，A为投影图像平均亮度值，B为投影图像的三角波条纹亮度幅值，α光强传感模块的一个设计参数，投影仪图像亮度取值区间为αL～255；

采用双频相移法，将投影图像序列P_h和P_v分为两个子序列P_hih，P_hiu和P_vih，P_viu，得到投影图像序列包括P_h＝{P_hih，P_hiu}和P_v＝{P_vih，P_viu}(i＝0,1,…,N_p)的投影图像序列，其中P_hih表示第i幅高频水平条纹图像，图像每一列灰度值为A+Bcos(2πf_hhv)，P_hiu是第i幅低频水平条纹图像，图像每一列灰度值为A+Bcos(2πf_huv)，P_vih是第i幅高频竖直条纹图像，图像每一行灰度值为A+Bcos(2πf_vhu)，P_viu是第i幅低频竖直条纹图像，图像每一行灰度值为A+Bcos(2πf_vuu)，u∈[1,W]，v∈[1,H]为图像像素点坐标，W和H分别是投影图像的宽度和高度；

(4)从上述步骤(1)的标定物选择一个的定位点，设该定位点在世界坐标系中坐标为X_w，在该定位点上安装一个光强传感模块，使光强传感模块位于投影仪视角范围之内，则光强传感模块在世界坐标系中的位置为X_w；

(5)图形处理模块将上述步骤(3)中生成的两个横竖方向的N_p步相移法结构光投影图像序列P_hih，P_hiu和P_vih，P_viu发送给待标定投影仪，待标定投影仪将接收的结构光投影图像序列投影到标定物上，在标定物上得到投影结构光序列；

(6)利用位于标定物定位点上的光强传感模块，采集待标定投影仪投影的图像序列P_hih，P_hiu和P_vih，P_viu时的，得到光强值I＝{I_hih，I_hiu，I_vih，I_viu}(i＝1,2,…,N_p)，其中I_hih，I_hiu，I_vih，I_viu分别是投影P_hih，P_hiu，P_vih，P_viu时光强传感模块所采集的亮度值；

(7)根据上述步骤(6)的光强值I，利用结构光方法，计算与光强传感模块中心相对应的投影仪图像像素坐标：

其中,上标T表示矩阵转置，W为投影图像的宽度和高度，和分别是根据I_vih和I_viu、I_hih和I_hiu计算的绝对相位值，计算方式如下：

[·]表示取整运算，分别是两个方向低高频相对相位值，计算公式如下：

(8)遍历标定物上的各定位点，使光强传感模块置于6个以上不同的定位点上，重复上述步骤(4)至步骤(7)，采集6组以上投影图像序列的光强值，计算得到6组以上图像像素坐标[u,v]^T；

(9)根据孔成像模型，建立上述步骤(2)中待标定投影仪坐标系与世界坐标之间的数学关系：

其中，M_in为待标定投影仪的内参矩阵M_in，M_ex为待标定投影仪的外参矩阵：

u＝[u,v]^T为上述步骤(7)中计算得到的投影仪图像坐标，单位为像素值，X_w＝[X_w，Y_w，Z_w]^T为定位点在世界坐标系中的位置，单位为长度，f_x和f_y分别为待标定投影仪在水平方向和竖直方向上的焦距，[u₀，v₀]为投影仪图像中心坐标，外参矩阵M_ex为待标定投影仪在投影仪坐标系和世界坐标系的位姿关系，包括旋转矩阵R和平移矩阵t；

(10)数据处理模块利用张正友标定算法，求解上述步骤(9)的数学关系式，得到待标定投影仪的内参矩阵M_in和外参矩阵M_ex，即待标定投影仪的旋转矩阵R和平移矩阵t，实现投影仪的标定。

本发明提出的基于结构光技术的投影仪标定方法，其优点如下：

1、本发明的投影仪标定方法，使用光强传感模块感知图像亮度变化，减少现有投影仪标定中对相机的依赖，且光强传感模块可以采用普通的光强传感器，其成本远比相机要低，因此能有效降低标定投影仪所需的设备成本。

2、本发明方法可以使用任意已知三维结构的标定物进行投影仪标定，减少现有投影仪标定方法对标定物的特定要求，如棋盘格标定板、圆点标定板等，有效降低了标定投影仪所需的额外成本。

3、本发明方法中，标定过程中的每次循环仅采集一个定位点处的光强变化，并仅计算本定位点对应的图像坐标，减少了已有标定方法中对整个投影结构光区域进行计算的算法难度和复杂度，操作简单，提高了投影仪标定的工作效率。

附图说明

图1是本发明方法涉及的投影仪标定中各模块的结构示意图。

图2是本发明方法中待标定投影仪坐标系和世界坐标系的示意图。

图3为各投影图像序列中图片，其中，(a)是高频竖直条纹序列P_vih中的一张图片，

(b)是高频水平条纹序列P_hih中的一张图片，(c)低频竖直条纹序列P_viu中的一张图片，

(d)是低频水平条纹序列P_hiu中的一张图片。

图4是标定物上得到的投影结构光序列示意图。

图2和图4中，1是投影仪坐标系，2是标定物，3是世界坐标系，4是定位点，5是光强传感模块，6是投影结构光序列。

具体实施方式

本发明提出的基于结构光技术的投影仪标定方法，包括以下步骤：

(1)使待标定投影仪分别与图形处理模块、数据处理模块和光强传感模块相连接，将标定物置于投影仪视野范围内，将光强传感模块置于标定物的一个定位点上，如图1所示，标定物是指任意三维结构信息已知的物体，该物体上有若干相对位置关系已知的定位点；

(2)建立一个待标定投影仪坐标系和一个世界坐标系，如图2所示，所述的待标定投影仪坐标系为一个三维右手坐标系，该三维右手坐标系以待标定投影仪光心为坐标原点O、光轴为Z轴，方向向外为正，待标定投影仪坐标系的X轴和Y轴分别与待标定投影仪芯片的水平方向和竖直方向平行，所述的世界坐标系建立在标定物上，世界坐标系的坐标原点O′和三个坐标轴X′、Y′、Z′的方向任意选取，图2中，1是投影仪坐标系，2是标定物，3是世界坐标系，4是定位点；

(3)上述步骤(1)的图形处理模块生成两个横竖方向的N_p步相移法结构光投影图像序列，记为竖向投影图像序列P_h和横向投影图像序列P_v，使P_h和P_v中的第i幅图像投影的数学模型为：

其中，i表示投影图像序号，i＝0,1,…,N_p，N_p表示相移法的步数，即每个投影图像序列中图像的数量，P_i为投影图像的灰度值，P_i的取值为0到255之间的整数值，f是条纹频率，可根据实际需求选取，理论上f可取一个大于零的任意值，一般取其中T<T′都表示条纹周期，T一般不小于20，对于竖向投影图像序列T′一般取投影图像宽度、对于横向投影图像T′取投影图像高度，t表示沿着条纹方向的像素值，t＝1,2,3…N，其中对于竖向图像投影序列P_v，N表示图像高度，对于横向图像投影序列P_v，N表示图像宽度，为投影图像三角波条纹的初始相位值，A为投影图像平均亮度值，B为投影图像的三角波条纹亮度幅值，α光强传感模块的一个设计参数，可以从光强传感模块中获取，本发明方法中使用的光强传感模块在投影图像灰度值0～L的低亮度区间采集分辨率低，抗干扰能力弱，其中L≥0是和光强传感模块自身相关的一个属性，所以为了充分利用光强传感模块的采集区间，可将投影仪图像整体亮度提高，L是一个投影图像灰度值，低于这个灰度值的时候，光传感模块分辨率低。该值可通过投影仪投射一系列不同灰度图像并观察光强传感模块采集值获得，投影仪图像亮度取值区间为αL～255；

为了提高解码抗噪声能力并有效提高标定精度，需采用双频相移法，将投影图像序列P_h和P_v分为两个子序列P_hih，P_hiu和P_vih，P_viu，得到投影图像序列包括P_h＝{P_hih，P_hiu}和P_v＝{P_vih，P_viu}(i＝0,1,…,N_p)的投影图像序列，其中P_hih表示第i幅高频水平条纹图像，图像每一列灰度值为A+Bcos(2πf_hhv)，P_hiu是第i幅低频水平条纹图像，图像每一列灰度值为A+Bcos(2πf_huv)，P_vih是第i幅高频竖直条纹图像，图像每一行灰度值为A+Bcos(2πf_vhu)，P_viu是第i幅低频竖直条纹图像，图像每一行灰度值为A+Bcos(2πf_vuu)，u∈[1,W]，v∈[1,H]为图像像素点坐标，W和H分别是投影图像的宽度和高度；图3为各投影图像序列中的一张图片，(a)是高频竖直条纹序列P_vih中的一张图片，(b)是高频水平条纹序列P_hih中的一张图片，(c)低频竖直条纹序列P_viu中的一张图片，(d)是低频水平条纹序列P_hiu中的一张图片。

(4)从上述步骤(1)的标定物选择一个的定位点，设该定位点在世界坐标系中坐标为X_w，在该定位点上安装一个光强传感模块，使光强传感模块位于投影仪视角范围之内，则光强传感模块在世界坐标系中的位置为X_w；如图4所示，在该位置处光强传感模块可以测量投影仪光强的变化；

(5)图形处理模块将上述步骤(3)中生成的两个横竖方向的N_p步相移法结构光投影图像序列P_hih，P_hiu和P_vih，P_viu发送给待标定投影仪，待标定投影仪将接收的结构光投影图像序列投影到标定物上，在标定物上得到投影结构光序列，如图4所示，图4中，2是标定物，4是定位点，5是光强传感模块，6是投影结构光序列；

(6)利用位于标定物定位点上的光强传感模块，采集待标定投影仪投影图像序列P_hih，P_hiu和P_vih，P_viu时的光强值I＝{I_hih，I_hiu，I_vih，I_viu}(i＝1,2,…,N_p)，其中I_hih，I_hiu，I_vih，I_viu分别是投影P_hih，P_hiu，P_vih，P_viu时光强传感模块所采集的亮度值；

(7)根据上述步骤(6)的光强值I，利用结构光方法，计算与光强传感模块中心相对应的投影仪图像像素坐标：

其中,上标T表示矩阵转置，W为投影图像的宽度和高度，和分别是根据I_vih和I_viu、I_hih和I_hiu计算的绝对相位值，计算方式如下：

[·]表示取整运算，分别是两个方向低高频相对相位值，计算公式如下：

(8)遍历标定物上的各定位点，使光强传感模块置于6个以上不同的定位点上，重复上述步骤(4)至步骤(7)，采集6组以上投影图像序列的光强值，计算得到6组以上图像像素坐标[u,v]^T；

(9)根据孔成像模型，建立上述步骤(2)中待标定投影仪坐标系与世界坐标之间的数学关系：

其中，M_in为待标定投影仪的内参矩阵M_in，M_ex为待标定投影仪的外参矩阵：

u＝[u,v]^T为上述步骤(7)中计算得到的投影仪图像坐标，单位为像素值，X_w＝[X_w，Y_w，Z_w]^T为定位点在世界坐标系中的位置，单位为长度，f_x和f_y分别为待标定投影仪在水平方向和竖直方向上的焦距，[u₀，v₀]为投影仪图像中心坐标，外参矩阵M_ex为待标定投影仪在投影仪坐标系和世界坐标系的位姿关系，包括旋转矩阵R和平移矩阵t；

(10)数据处理模块利用本技术领域中的公知公用技术张正友标定算法，求解上述步骤(9)的数学关系式，得到待标定投影仪的内参矩阵M_in和外参矩阵M_ex(外参矩阵也就是待标定投影仪的投影仪坐标系在世界坐标系中的位姿)，即待标定投影仪的旋转矩阵R和平移矩阵t，实现投影仪的标定。

Claims (1)

1.一种基于结构光技术的投影仪标定方法，其特征在于该方法包括以下步骤：

(1)使待标定投影仪分别与图形处理模块、数据处理模块和光强传感模块相连接，将标定物置于投影仪视野范围内，将光强传感模块置于标定物的一个定位点上；

(2)建立一个待标定投影仪坐标系和一个世界坐标系，所述的待标定投影仪坐标系为一个三维右手坐标系，该三维右手坐标系以待标定投影仪光心为坐标原点O、光轴为Z轴，方向向外为正，待标定投影仪坐标系的X轴和Y轴分别与待标定投影仪芯片的水平方向和竖直方向平行，所述的世界坐标系建立在标定物上，世界坐标系的坐标原点O′和三个坐标轴X′、Y′、Z′的方向任意选取；

(3)上述步骤(1)的图形处理模块生成两个横竖方向的N_p步相移法结构光投影图像序列，记为竖向投影图像序列P_h和横向投影图像序列P_v，使P_h和P_v中的第i幅图像投影的数学模型为：

其中，i表示投影图像序号，i＝0，1，...，N_p，N_p表示相移法的步数，即每个投影图像序列中图像的数量，P_i为投影图像的灰度值，P_i的取值为0到255之间的整数值，f是条纹频率，t表示沿着条纹方向的像素值，t＝1，2，3…N，其中对于竖向图像投影序列P_v，N表示图像高度，对于横向图像投影序列P_v，N表示图像宽度，为投影图像三角波条纹的初始相位值，A为投影图像平均亮度值，B为投影图像的三角波条纹亮度幅值，α光强传感模块的一个设计参数，投影仪图像亮度取值区间为αL～255；

采用双频相移法，将投影图像序列P_h和P_v分为两个子序列P_hih，P_hiu和P_vih，P_viu，得到投影图像序列包括P_h＝{P_hih，P_hiu}和P_v＝{P_vih，P_viu}(i＝0，1，...，N_p)的投影图像序列，其中P_hih表示第i幅高频水平条纹图像，图像每一列灰度值为A+Bcos(2πf_hhv)，P_hiu是第i幅低频水平条纹图像，图像每一列灰度值为A+Bcos(2πf_huv)，P_vih是第i幅高频竖直条纹图像，图像每一行灰度值为A+Bcos(2πf_vhu)，P_viu是第i幅低频竖直条纹图像，图像每一行灰度值为A+Bcos(2πf_vuu)，u∈[1，W]，v∈[1，H]为图像像素点坐标，W和H分别是投影图像的宽度和高度；

(4)从上述步骤(1)的标定物选择一个的定位点，设该定位点在世界坐标系中坐标为X_w，在该定位点上安装一个光强传感模块，使光强传感模块位于投影仪视角范围之内，则光强传感模块在世界坐标系中的位置为X_w；

(5)图形处理模块将上述步骤(3)中生成的两个横竖方向的N_p步相移法结构光投影图像序列P_hih，P_hiu和P_vih，P_viu发送给待标定投影仪，待标定投影仪将接收的结构光投影图像序列投影到标定物上，在标定物上得到投影结构光序列；

(6)利用位于标定物定位点上的光强传感模块，采集待标定投影仪投影图像序列P_hih，P_hiu和P_vih，P_viu时的光强值I＝{I_hih，I_hiu，I_vih，I_viu}(i＝1，2，...，N_p)，其中I_hih，I_hiu，I_vih，I_viu分别是投影P_hih，P_hiu，P_vih，P_viu时光强传感模块所采集的亮度值；

(7)根据上述步骤(6)的光强值I，利用结构光方法，计算与光强传感模块中心相对应的投影仪图像像素坐标：

其中，上标T表示矩阵转置，W为投影图像的宽度和高度，和分别是根据I_vih和I_viu、I_hih和I_hiu计算的绝对相位值，计算方式如下：

[·]表示取整运算，分别是两个方向低高频相对相位值，计算公式如下：

(8)遍历标定物上的各定位点，使光强传感模块置于6个以上不同的定位点上，重复上述步骤(4)至步骤(7)，采集6组以上投影图像序列的光强值，计算得到6组以上图像像素坐标[u，v]^T；

(9)根据孔成像模型，建立上述步骤(2)中待标定投影仪坐标系与世界坐标之间的数学关系：

其中，M_in为待标定投影仪的内参矩阵M_in，M_ex为待标定投影仪的外参矩阵：

u＝[u，v]^T为上述步骤(7)中计算得到的投影仪图像坐标，单位为像素值，X_w＝[X_w，Y_w，Z_w]^T为定位点在世界坐标系中的位置，单位为长度，f_x和f_y分别为待标定投影仪在水平方向和竖直方向上的焦距，[u₀，v₀]为投影仪图像中心坐标，外参矩阵M_ex为待标定投影仪在投影仪坐标系和世界坐标系的位姿关系，包括旋转矩阵R和平移矩阵t；

(10)数据处理模块利用张正友标定算法求解上述步骤(9)的数学关系式，得到待标定投影仪的内参矩阵M_in和外参矩阵M_ex，即待标定投影仪的旋转矩阵R和平移矩阵t，实现投影仪的标定。