CN112923870A - 一种基于移相和多位码的彩色物体结构光三维测量方法 - Google Patents

Abstract

本发明提供一种基于移相和多位码的彩色物体结构光三维测量方法，属于结构光三维测量领域。本发明所述方法利用多元码唯一编码条纹级次，并将多元码的编码序列嵌入到附加1帧移相条纹图案中，解码时结合用于获取包裹相位的正弦条纹图案，从相位差中得到每个周期的码元，对于单行的码元从左到右排列即可得到解码序列；利用最大概率法从解码序列中获取各周期条纹级次，从而获得物体表面连续相位信息；同时通过对彩色摄像机采集得到的变形条纹图累加，并将结果归一化至0~255，得到物体表面的颜色信息；利用连续相位信息和颜色信息，重建物体的彩色三维信息。

Description

一种基于移相和多位码的彩色物体结构光三维测量方法

一、技术领域

本发明涉及结构光三维测量领域，特别是涉及一种基于移相和多位码的彩色物体结构光三维测量方法。

二、背景技术

三维测量技术根据在测量过程中是否主动投影光照信息分为主动测量和被动测量两大类。基于条纹投影的结构光三维测量技术作为主动测量方式的一种，由于其高精度，低成本等优势被广泛应用于在计算机视觉、医学诊断、工业检测和表面建模领域，对待测物体表面结构进行精细测量。而在基于条纹的结构光三维测量中，摄像机成像平面各像素点条纹级次的正确确定是成功恢复物体表面三维形貌的前提条件。现有方法大致分为基于时间的解相算法和基于空间的解相算法。基于空间的解相算法是利用当前像素点与其邻域像素点的包裹相位差值关系判断当前点与其邻域点是否存在条纹级次跳变，从而完成解相；而基于时间的解相算法则是在编码阶段直接将条纹级次编码进附加图案中，利用增加的投影图案，解码时直接获取各像素点条纹级次。该方法无需邻域像素点对比，因此其正确率高于基于空间的解相算法；但由于需要投影额外的附加条纹，测量时在投影采集阶段花费的时间大于基于空间的解相算法。因此，现阶段基于时间的解相算法的研究主要集中在不降低解相精度的同时，减少所需投影附加条纹的数量。

现阶段基于时间的解相算法在编码条纹级次时，多采用大于等于3帧的阶梯灰度图案进行编码，而当待测物体为彩色时，物体表面的彩色信息与投影附加图案的阶梯灰度混合后，无法判定灰度是来源自编码图案还是源自物体自身颜色，造成解相错误；且投影多帧的附加图案，大大降低了测量的时效性，无法有效地应用在彩色物体的快速三维测量中。

三、发明内容

本发明提供一种基于移相和多位码的彩色物体结构光三维测量方法，单个码元编码至条纹移相中，为减少附加图案的数量，用于获取包裹相位的正弦条纹也用于判定条纹级次，因此利用多位码的编码原理，条纹级次编码可通过附加一帧移相图案编码，增加基于时间解相法的测量效率；同时由于码元被编码至条纹移相中，后期通过求取相位差来提取单周期码元，未利用灰度信息，可抑制物体彩色信息对测量带来影响；利用彩色摄像机，即RGB摄像机获取变形条纹信息后，即可重建物体的彩色三维信息。本发明所述流程如附图1所示，具体实施步骤如下：

步骤1：标定投影仪-彩色摄像机系统

利用现有方法对投影仪-彩色摄像机系统进行标定，获取投影仪的内参矩阵K_P，畸变矩阵O_P，彩色摄像机的内参矩阵K_C，畸变矩阵O_C，和投影仪-彩色摄像机之间的外参矩阵W。并通过上述标定得到的信息计算出投影仪-彩色摄像机之间的本征矩阵S。

步骤2：编码投影图案

编码的投影图案包括用于获取包裹相位所需的N帧正弦条纹和用于确定条纹级次所需的附加1帧移相条纹。首先，编码的N帧正弦条纹为：

其中，(u,v)为投影仪像平面的二维坐标索引，T为条纹周期，A^p(u,v)和B^p(u,v)为常量，n为N帧正弦条纹的图像索引，2πn/N为相移量，N为大于等于3的整数。

其次，编码用于确定条纹级次的附加1帧移相条纹为：

其中，CS(*)为生成的一维多位码编码序列，

为取下限操作符，

为条纹级次，

为移相条纹的移相信息。在CS序列中，包含当前周期的连续F个周期的码元作为唯一码字标识当前周期，且CS(*)∈[1,2,…,N]，F为大于等于3的整数。

步骤3：采集变形图案

投影仪先将计算机编码生成的N帧正弦条纹和附加1帧移相条纹投影至物体表面，彩色摄像机采集获得的前N帧变形条纹：

其中，(x,y)为彩色摄像机像平面的二维坐标索引,z为彩色摄像机的彩色通道索引，z的值可为1,2,3，A^c(x,y,z)为背景光强,B^c(x,y,z)为调制信号，φ(x,y)为受物体调制的相位信息。

彩色摄像机采集的附加1帧变形移相条纹为：

步骤4：获取连续相位

根据彩色摄像机采集的N帧变形正弦条纹，可计算出物体表面的包裹相位信息：

令

根据采集的N帧变形正弦条纹和附加1帧变形移相条纹可计算出N种相位信息：

其中n＝1,2,…,N。

求取φ_n(x,y)与φ(x,y)差运算的绝对值，可得到相位差φ_n′(x,y)

φ_n′(x,y)＝|φ(x,y)-φ_n(x,y)|(n＝1,…,N) (7)

设定阈值δ，利用公式(8)进行判断，可获得相位差的二值化图案

求取L_n(x,y)的连通域，纵向对比L_n(x,y)，通过当前像素点所处联通域的大小即可获得当前像素点的码元，对整幅图像进行对比操作后，可得到码元图E。然后，利用13×13的统计滤波器对E进行滤波处理，可得到无误差的码元图。取单行，从左到右对码元进行排序，得到当前行的解码序列DS后，利用最大概率法：公式(9)求取DS的主区域，并确定主区域周期

其中，M为DS中的码元总数，K为条纹级次总数，⊙为同或操作符，MR为当k为确定值时同或操作得到的向量，Continous_max为求取最大连通域的函数，位于最大连通区域内的部分为主区域，而其他非主区域的部分记为剩余区域。最大连通域对应的k值即为主区域的起始条纹级次，记为k_main。在主区域条纹级次确定后，将剩余区域作为新的DS与CS进行对比，求取其条纹级次，重复这一过程，直至DS中所有条纹级次确定完成，结果保存至k(x,y)中。最终，通过公式(10)得到解相后的连续相位信息：

ψ(x,y)＝2πk(x,y)+φ(x,y) (10)

步骤5：图像畸变校正

根据步骤1标定获得的彩色摄像机畸变参数，对求得的连续相位信息(彩色摄像机端)进行去畸变处理。消除彩色摄像机端的径向畸变，切向畸变和薄棱镜畸变。

步骤6：重建物体彩色三维面形

通过步骤5求取的去畸变连续相位信息，可建立投影仪与彩色摄像机像素对应关系：

再根据步骤1获取的标定获得的参数，极线定理及射线相交定理重建出物体的三维面形。各点颜色信息可通过公式(12)计算并归一化到0～255：

其中Max为求取最大值函数，通过坐标索引，即可将颜色信息赋值给点云，则最终重建点云结果为(X,Y,Z,R,G,B)。其中(X,Y,Z)为点云在世界坐标系下的三维坐标信息，(R,G,B)为点云的颜色信息。

本发明的有益效果是：

本发明所述方法利用移相和多位码原理，将条纹级次编码进附加1帧移相条纹图案中，该方法有效地减少了编码条纹级次所需要的附加图案数量，较已有基于时间的解相算法，更适于物体的快速测量；同时，利用相位差绝对值信息导出单个码元，使得物体颜色对附加图案的影响降至最低，因此，较已有方法更适用于彩色物体三维测量；利用最大概率法从解码序列中获取各周期条纹级次，降低了解相的误码率。

四、附图说明

附图1为本发明所述方法的流程图；

附图2为本发明的系统结构图；

附图3为本发明所述方法的编码的投影图案(a)-(e)为编码的五步相移正弦图案，(f)为附加1帧移相图案；

附图4为本发明所述方法采集的变形图案(a)-(e)为彩色摄像机采集的五步相移变形正弦条纹图案，(f)为彩色摄像机采集的附加1帧变形移相条纹图案；

附图5为本发明所述方法的测量结果图；

上述附图中的图示标号为：

1彩色摄像机2待测物体3PC 4投影仪5投影图像

应该理解上述附图只是示意性的，并没有按比例绘制。

五、具体实施方式

下面详细说明本发明的一种基于移相和多位码的彩色物体结构光三维测量方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

步骤1：标定投影仪-彩色摄像机系统

优选地，本例选用张正友与张松的方法对投影仪-彩色摄像机系统进行标定，获取投影仪的内参矩阵K_P，畸变矩阵O_P，彩色摄像机的内参矩阵K_C，畸变矩阵O_C，和投影仪-彩色摄像机之间的外参矩阵W。并通过上述标定得到的信息计算出投影仪-彩色摄像机之间的本征矩阵S。

步骤2：编码投影图案

编码的投影图案包括用于获取包裹相位所需的N帧正弦条纹和用于确定条纹级次所需的附加1帧移相条纹。首先，编码的N帧正弦条纹为：

其中，(u,v)为投影仪像平面的二维坐标索引，优选地，条纹周期T为24像素，A^p(u,v)和B^p(u,v)为常量，n为N帧正弦条纹的图像索引，2πn/N为相移量，N为大于3的整数。

其次，编码用于确定条纹周期的附加1帧移相条纹为：

其中，CS(*)为生成的一维多位码编码序列，

为取下限操作符，

为条纹级次。在CS序列中，包含当前周期的连续3个周期的码元作为唯一码字标识当前周期，且CS(*)∈[1,2,…,N]。

步骤3：采集变形图案

投影仪先将计算机编码生成的N帧正弦条纹和附加1帧移相条纹投影至物体表面，彩色摄像机采集获得的前N帧变形条纹：

其中，(x,y)为彩色摄像机像平面的二维坐标索引,z为彩色摄像机的通道索引，z的值可为1,2,3，A^c(x,y,z)为背景光强,B^c(x,y,z)为调制信号，φ(x,y)为受物体调制的相位信息。

彩色摄像机采集的附加1帧变形移相条纹为：

步骤4：获取连续相位

根据彩色摄像机采集的N帧变形正弦条纹，可计算出物体表面的包裹相位信息：

令

根据采集的N帧变形正弦条纹和附加1帧变形移相条纹可计算出N种相位信息：

其中n＝1,2,…,N。

求取φ_n(x,y)与φ(x,y)差运算的绝对值，可得到相位差φ_n′(x,y)

φ_n′(x,y)＝|φ(x,y)-φ_n(x,y)|(n＝1,…,N) (19)

设定阈值δ＝0.01，利用公式(19)进行判断，可获得相位差的二值化图案

求取L_n(x,y)的连通域，纵向对比L_n(x,y)，通过当前像素点所处联通域的大小即可获得当前像素点的码元，对整幅图像进行对比操作后，可得到码元图E。然后，利用13×13的统计滤波器对E进行滤波处理，可得到无误差的码元图。取单行，从左到右对码元进行排序，得到当前行的解码序列DS后，利用最大概率法：公式(21)求取DS的主区域，并确定主区域周期

其中，M为DS中的码元总数，K为条纹编码级次总数，⊙为同或操作符，MR为当k为确定值时同或操作得到的向量，Continous_max为求取最大连通域的函数，位于最大连通区域内的部分为主区域，而其他非主区域的部分记为剩余区域。最大连通域对应的k值即为主区域的起始条纹级次，记为k_main。在主区域条纹级次确定后，将剩余区域作为新的DS与CS进行对比，求取其条纹级次，重复这一过程，直至DS中所有条纹级次确定完成，结果保存至k(x,y)中。最终，通过公式(22)得到解相后的连续相位信息：

ψ(x,y)＝2πk(x,y)+φ(x,y) (22)

步骤5：图像畸变校正

根据步骤1标定获得的彩色摄像机畸变参数，对求得的连续相位信息(彩色摄像机端)进行去畸变处理。消除彩色摄像机端的径向畸变，切向畸变和薄棱镜畸变。

步骤6：重建物体三维面形

通过步骤5求取的去畸变连续相位信息，可建立投影仪与彩色摄像机像素对应关系：

再根据步骤1获取的标定获得的参数，极线定理及射线相交定理重建出物体的三维面形。各点颜色信息可通过公式(24)计算并归一化到0～255：

其中Max为求取最大值函数，通过坐标索引，即可将颜色信息赋值给点云，则最终重建点云结果为(X,Y,Z,R,G,B)。其中(X,Y,Z)为点云在世界坐标系下的三维坐标信息，(R,G,B)为点云的颜色信息。

Claims (5)

1.一种基于移相和多位码的彩色物体结构光三维测量方法，其特征在于，利用多位码编码条纹级次，获得条纹级次的编码序列，并将编码序列编码进附加1帧移相条纹图案中，将原始用于获取包裹相位的正弦条纹图案加入到条纹级次判定中；根据相位差获取各周期码元，得到解码序列；利用最大概率法从解码序列中获取各周期的条纹级次，获得物体表面连续相位信息；同时通过对彩色摄像机采集得到的变形条纹图累加，并将结果归一化至0～255，得到物体表面的颜色信息；利用连续相位信息和颜色信息，重建物体的彩色三维形貌。

2.根据权利要求1所述的一种基于移相和多位码的彩色物体结构光三维测量方法，其特征在于，包括标定投影仪-彩色摄像机系统、编码投影图案、采集变形图案、获取连续相位、图像畸变校正和重建物体彩色三维面形六个步骤：步骤1、标定投影仪-彩色摄像机系统，利用现有投影仪-彩色摄像机模型标定算法标定投影仪、彩色摄像机内参，外参，畸变参数，计算本征矩阵S；步骤2、编码投影图案，利用多帧正弦条纹编码包裹相位，利用附加1帧移相条纹编码条纹级次，条纹级次由多位码的编码序列唯一确定，通过所编码的附加1帧移相图案和用于获取包裹相位的正弦条纹图案唯一定位条纹级次；步骤3、采集变形图案，投影仪投影编码图案后，彩色摄像机同步采集变形图案；步骤4、获取连续相位，通过编码的正弦条纹获取包裹相位，编码的移相条纹和正弦条纹获取条纹级次，根据包裹相位信息和条纹级次获取解相后的连续相位；步骤5、图像畸变校正，根据步骤1标定得到的彩色摄像机畸变参数信息获取彩色摄像机采集的去畸变相位图；步骤6、重建物体彩色三维面形，通过步骤5得到的去畸变的连续相位，可得到物体的三维信息(X,Y,Z)，将步骤3采集得到的变形正弦图案求和并归一化至0～255后即可获得物体的颜色信息(R,G,B)，从而重建物体的彩色三维信息(X,Y,Z,R,G,B)。

3.根据权利要求2所述的一种基于移相和多位码的彩色物体结构光三维测量方法，其特征在于，生成的编码条纹级次的附加1帧移相条纹为：

其中，(u,v)为投影仪像平面二维坐标索引，T为条纹周期，A^p(u,v)和B^p(u,v)为常量，n为N帧正弦条纹的图像索引，N为相移步数，CS(*)为生成的一维多位码编码序列，

为取下限操作符；在CS序列中，包含当前周期的连续F个周期的码元作为唯一码字标识当前周期，且CS(*)∈[1,2,…,N]；彩色摄像机采集得到的附加1帧变形移相条纹为：

其中，(x,y)为彩色摄像机像平面的二维坐标索引,z为彩色摄像机通道值索引，A^c(x,y)为背景光强,B^c(x,y)为调制信号，φ(x,y)为受物体调制的相位信息。

4.根据权利要求2所述的一种基于移相和多位码的彩色物体结构光三维测量方法，根据采集的N帧变形正弦条纹和附加1帧变形移相条纹求取条纹级次，从而得到物体表面连续相位；根据采集得到的变形条纹可计算出N种相位信息：

其中，n＝1,2,…,N，

求φ_n(x,y)与包裹相位信息φ(x,y)差运算的绝对值，可得到相位差φ_n′(x,y)

φ_n′(x,y)＝|φ(x,y)-φ_n(x,y)|(n＝1,…,N)(4)

通过对相位差进行分割，纵向对比分割后φ_n′(x,y)后可得到各像素点对应的码元，该码元存储至码元图E中，然后，利用13×13的统计滤波器对E进行滤波处理，可得到无误差的码元图；取单行，从左到右对码元进行排序，得到当前行的解码序列DS后，利用最大概率法，根据公式(5)通过最大概率法求取DS的主区域，并确定主区域周期

其中，M为DS中的码元总数，K为条纹编码级次总数，⊙为同或操作符，MR为当k为确定值时同或操作得到的向量，Continous_max为求取最大连通域的函数，CS为一维多位码编码序列；位于最大连通区域内的部分为主区域，而其他非主区域的部分记为剩余区域；最大连通域对应的k值即为主区域的起始条纹级次，记为k_main；在主区域条纹级次确定后，将剩余区域作为新的DS与CS进行对比，求取其条纹级次，重复这一过程，直至DS中所有条纹级次确定完成；对图像中每行进行该处理后可得到物体表面的条纹级次，进而得到连续相位。

5.根据权利要求2所述的一种基于移相和多位码的彩色物体结构光三维测量方法，利用变形正弦条纹计算物体表面各点的颜色信息计算并归一化到0～255，得到物体表面颜色信息

其中I_n(x,y,1)，I_n(x,y,2)，I_n(x,y,3)表示彩色摄像机RGB三通道采集获取的变形正弦条纹，(x,y)为彩色摄像机像平面像素二维坐标索引，N为相移步数，Max为求取最大值函数，与通过连续相位和标定参数获取的物体表面三维信息(X,Y,Z)相融合可得到物体表面的彩色三维信息(X,Y,Z,R,G,B)。

Images