CN109974625A - 一种基于色相优化灰度的彩色物体结构光三维测量方法 - Google Patents

Abstract

本发明提供一种基于色相优化灰度的彩色物体结构光三维测量方法，属于结构光三维测量领域。本发明所述方法包括标定投影仪‑摄像机系统、采集变形条纹、划分物体色相区域、确定有色相区域条纹灰度、定位条纹质量不佳的无色相区域、更新无色相区域条纹灰度和重建物体三维面形七个步骤。本发明所述方法根据色相原理，将物体表面划分为有色相区域与无色相区域，不同区域采取不同的条纹质量优化方法。对有色相区域，将R、G、B通道中调制度最优通道的灰度值作为合成条纹灰度值；对无色相且条纹质量不佳区域，通过改变投影仪光照强度重新获取其灰度值，最终得到条纹质量满足需求的合成条纹图；利用该合成条纹图，完成彩色物体的低噪重建。

Description

一种基于色相优化灰度的彩色物体结构光三维测量方法

技术领域

本发明涉及结构光三维测量领域，特别是涉及一种基于色相优化灰度的彩色物体结构光三维测量方法。

背景技术

结构光三维测量是三维测量领域中的重要方式之一，它通过投影仪将计算机编码生成的结构性图案投影至物体表面，随后利用摄像机采集加载了物体形貌信息的投影图案，最终根据采集的图像重建物体的三维面形。相位测量轮廓术作为一种主要的结构光三维测量方法，被广泛应用在计算机视觉、医学诊断、工业检测和表面建模领域。该方法所需投影图案为计算机生成的正弦条纹。物体的面形信息被加载在采集图像的相位信息中，通过反三角公式可恢复出物体表面的包裹相位，根据包裹相位求解出绝对相位，从而恢复出物体表面的三维面形。

将相位测量轮廓术应用于彩色物体的三维测量时，物体表面不同颜色区域的光谱吸收曲线不同，因此在相同光照条件下，采集的条纹图像各区域的调制度不同。当投影光波长处于有色相区域的光谱吸收峰值附近时，将导致摄像机采集的正弦条纹调制度低，条纹质量不佳，获取的包裹相位质量较差，测量结果易受环境光、噪声等因素的影响。

发明内容

本发明提供一种基于色相优化灰度的彩色物体结构光三维测量方法，旨在解决传统结构光测量算法在彩色物体测量中由颜色信息导致的重建表面粗糙的问题。本发明根据色相原理，划分彩色物体表面为有色相区域和无色相区域，针对各区域设计合理的灰度优化方案，对有色相区域选取最优成像通道的灰度值作为该区域合成条纹的灰度值，对于无色相区域，选取合理的投影光强，将该光强下摄像机采集得到的灰度值作为该区域合成条纹的灰度值，最终利用合成条纹重建物体的三维面形。本发明所述流程如附图1所示，具体实施步骤如下：

步骤1：标定投影仪-摄像机系统

利用现有方法标定投影仪-摄像机系统，获取投影仪的内参矩阵K_P，畸变矩阵O_P，摄像机的内参矩阵K_C，畸变矩阵O_C，和投影仪-摄像机之间的外参矩阵R，T。并通过上述标定得到的信息计算出投影仪-摄像机之间的本征矩阵S。

步骤2：采集变形条纹

根据相位测量轮廓术原理编码三通道24位的N帧正弦条纹，利用投影仪将该正弦条纹投影至待测物体表面，通过彩色摄像机采集相应的三通道变形条纹为：

其中，(x,y)为摄像机像平面的像素索引，A(x,y)为投影图案的背景光强，B(x,y)为投影图案的调制信号，φ(x,y)为受物体调制的相位信息，K^R(x,y)、K^G(x,y)、K^B(x,y)分别为物体表面对投影仪R、G、B通道光照的反射率，θ(x,y)为物体表面与入射光线的夹角。

利用I_n ^R、I_n ^G、I_n ^B联合求得灰度条纹为：

步骤3：划分物体色相区域

利用R、G、B三通道条纹的调制度对物体的有色相区域和无色相区域进行划分，计算三通道条纹调制度M^R、M^G、M^B及灰度条纹调制度M^A如下：

利用公式(4)求取三通道调制度均方根误差，其中，μ为三通道条纹调制度均值，δ为三通道条纹调制度均方根误差。

若δ(x,y)<threshold，为无色相区域；反之，为有色相区域。

步骤4：确定有色相区域条纹灰度

根据步骤3分离的有色相区域，以R、G、B三通道条纹的调制度和灰度条纹的调制度为基础，计算生成有色相区域的合成条纹图，保存至图像F_n中：

步骤5：定位条纹质量不佳的无色相区域

对于M^A小于设定阈值ε，条纹质量不佳的无色相区域，无法通过三通道灰度值的选择提高其条纹质量，因此提取该部分区域并存储在模板图像W中：

W为1的区域即为条纹质量不佳的无色相区域。

利用边缘提取算子提取W的边界线，选择边界线像素的最近邻域中属于有色相区域的像素点，连接成封闭曲线，对曲线上的点利用公式(7)计算其包裹相位信息：

结合绝对相位获取算法求取的条纹级次K(x,y)，计算其绝对相位为：

ψ(x,y)＝2πK(x,y)+φ(x,y) (8)

根据绝对相位与极线约束关系反定位该像素点对应的投影仪区域：

其中，T为条纹周期，v为对应投影仪像平面的纵坐标，l₁为p₂点对应的极线，即摄像机成像面像素坐标为(x,y)点在投影仪像平面对应的极线，S为通过标定参数计算得到的投影仪-摄像机空间关系的本征矩阵。由于极线可表示为直线方程形式，带入本征矩阵，公式(9)可表示为：

求解公式(10)，可获取投影仪成像平面对应的物体无色相区域边界点。连接边界点形成封闭曲线，将属于该曲线内部的区域视为无色相区域。

步骤6：更新无色相区域条纹灰度

增加步骤5中获取的条纹质量不佳的无色相区域的投影光强信息，再次投影正弦条纹至待测物体表面，采集的R、G、B通道变形条纹表示为I_n ^R'、I_n ^G'、I_n ^B'，由于无色相区域对不同光照的反射率相差不多，直接求取灰度条纹为：

根据步骤3所确定的物体无色相区域位置，更新合成条纹图F_n：

将计算得到的新的F_n代入公式(7)中，求得待测物体的包裹相位。

步骤7：重建物体三维面形

结合包裹相位与条纹级次K(x,y)，根据公式(8)即可获取物体表面的绝对相位信息。利用公式(10)，结合步骤1中的标定参数与绝对相位信息计算得到投影仪-摄像机像平面的对应关系，通过空间射线相交理论求取物体的三维点云集Po，即重建出物体的三维面形。

本发明的有益效果是：

本发明所述方法根据色相原理，划分物体表面为有色相区域与无色相区域，对有色相区域，将摄像机采集的R、G、B三通道条纹图像中调制度最优通道的灰度值作为该区域合成条纹灰度值，而对无色相区域，通过选取合理的投影仪光照强度，提高该区域的条纹质量，保证了摄像机采集的变形条纹具有较好的调制度，完成了彩色物体的低噪重建。

附图说明

附图1为本发明所述方法的流程图；

附图2位本发明所述方法的系统装置图；

附图3为本发明所述方法采集与计算的变形条纹图(a)R通道变形条纹图(b)B通道变形条纹图(c)G通道变形条纹图(d)计算的灰度条纹图；

附图4为本发明所述方法根据色相优化得到的合成条纹(a)有色相区域通道选择后的条纹(b)无色相区域光强增强后的条纹；

附图5为本发明所述方法的测量结果图(a)根据原始采集条纹图的重建结果(b)根据基于色相优化灰度后条纹图的重建结果；

上述附图中的图示标号为：1投影仪，2摄像机，3待测物体，4三脚架。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

下面详细说明本发明的一种基于色相优化灰度的彩色物体结构光三维测量方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

步骤1：标定投影仪-摄像机系统

优选地，本例选用张正友与Zhang Song的方法对投影仪-摄像机系统进行标定，获取投影仪的内参矩阵K_P，畸变矩阵O_P，摄像机的内参矩阵K_C，畸变矩阵O_C，和投影仪-摄像机之间的外参矩阵R，T。并通过上述标定得到的信息计算出投影仪-摄像机之间的本征矩阵S。

步骤2：采集变形条纹

本例搭建的系统装置图如附图2所示，根据相位测量轮廓术原理编码三通道24位的3帧正弦条纹，优选地，本例采用周期T＝18的正弦条纹，利用投影仪将该正弦条纹投影至待测物体表面，采集与计算获得的变形条纹如附图3所示。通过彩色摄像机采集的R、G、B通道的变形条纹数学表达式为：

其中，(x,y)为摄像机像平面的像素索引，A(x,y)为投影图案的背景光强，B(x,y)为投影图案的调制信号，φ(x,y)为受物体调制的相位信息，K^R(x,y)、K^G(x,y)、K^B(x,y)分别为物体表面对投影仪R、G、B通道光照的反射率，θ(x,y)为物体表面与入射光线的夹角。

利用I_n ^R、I_n ^G、I_n ^B联合求得灰度条纹为：

步骤3：划分物体色相区域

利用R、G、B三通道条纹的调制度对物体的有色相区域和无色相区域进行划分，计算三通道条纹调制度M^R、M^G、M^B及灰度条纹调制度M^A如下：

利用公式(16)求取三通道调制度均方根误差，其中，μ为三通道条纹调制度均值，δ为三通道条纹调制度均方根误差。

若δ(x,y)<0.2，为无色相区域；反之，为有色相区域。

步骤4：确定有色相区域条纹灰度

根据步骤3分离的有色相区域，以R、G、B三通道条纹和灰度条纹的调制度为基础，计算生成有色相区域合成条纹图并保存至图像F_n中：

计算生成结果如附图4(a)所示。

步骤5：定位条纹质量不佳的无色相区域

对于M^A小于设定阈值20，条纹质量不佳的无色相区域，无法通过三通道灰度值的选择提高其条纹质量，因此提取该部分区域并存储在模板图像W中：

优选地，ε设置为20。W为1的像素区域即为条纹质量不佳的无色相区域。

优选地，利用Sobel算子提取W的边界线，选择边界线像素的最近邻域内属于有色相区域的像素点，连接成封闭曲线，对曲线上的点利用公式(19)计算其包裹相位信息：

结合绝对相位获取算法求取的条纹级次K(x,y)，计算其绝对相位为：

ψ(x,y)＝2πK(x,y)+φ(x,y) (20)

根据绝对相位与极线约束关系反定位该像素点对应的投影仪区域：

其中，v为对应投影仪像平面的纵坐标，l₁为p₂点对应的极线，即摄像机成像面像素坐标为(x,y)点在投影仪像平面对应的极线，S为通过标定参数计算的投影仪-摄像机空间关系的本征矩阵。由于极线可表示为直线方程形式，带入本征矩阵，公式(21)可表示为：

求解公式(22)，可获取投影仪成像平面对应的物体无色相区域边界点。连接边界点形成封闭曲线，将属于该曲线内部的区域视为无色相区域。

步骤6：更新无色相区域条纹灰度

增加步骤5中获取的条纹质量不佳的无色相区域的投影光强信息，再次投影正弦条纹至待测物体表面，采集的R、G、B通道变形条纹表示为I_n ^R'、I_n ^G'、I_n ^B'，由于无色相区域对不同光照的反射率相差不多，直接求取灰度条纹为：

根据步骤3所确定的物体无色相区域位置更新合成变形条纹图F_n：

更新结果如附图4(b)所示，将计算得到的新的F_n代入公式(19)中，求得待测物体的包裹相位。

步骤7：重建物体三维面形

结合包裹相位与条纹级次K(x,y)，根据公式(20)即可获取物体表面的绝对相位信息。利用公式(22)，结合步骤1中的标定参数与绝对相位信息计算得到投影仪-摄像机像平面的对应关系，通过空间射线相交理论求取物体的三维点云集Po，即重建出物体的三维面形。重建结果如图5所示。

Claims (6)

1.一种基于色相优化灰度的彩色物体结构光三维测量方法，其特征在于，摒弃了传统的直接叠加彩色摄像机三通道灰度值获取变形条纹的方法；通过对物体表面色相区域的划分，区分有色相区域和无色相区域，对有色相区域，筛选摄像机R、G、B三通道中的最佳灰度值作为合成条纹灰度值，对无色相区域，选取合理的投影仪光照强度，保证该区域的条纹质量；最后通过合成的变形条纹获取物体表面的绝对相位，重建物体的三维面形。

2.一种基于色相优化灰度的彩色物体结构光三维测量方法，其特征在于，包括标定投影仪-摄像机系统、采集变形条纹、划分物体色相区域、确定有色相区域条纹灰度、定位条纹质量不佳的无色相区域、更新无色相区域条纹灰度和重建物体三维面形七个步骤：步骤1、标定投影仪-摄像机系统，利用现有投影仪-摄像机标定算法标定投影仪、摄像机内参，外参，计算本征矩阵S；步骤2、采集变形条纹，通过投影仪投影正弦条纹至待测物体表面，彩色摄像机同步采集受物体调制的变形条纹；步骤3、划分物体色相区域，根据有色相区域对不同波长光的反射率不同的原理，以调制度为判定依据，对物体表面有色相区域和无色相区域进行划分；步骤4、确定有色相区域条纹灰度，以调制度为判定依据，对每个像素确定条纹成像质量最优的通道，将该通道下条纹的灰度值作为合成条纹图该点的灰度值；步骤5、定位条纹质量不佳的无色相区域，以调制度为判定依据，定位摄像机成像面条纹质量不佳的无色相区域边界，利用绝对相位将该区域映射到投影仪像平面；步骤6、更新无色相区域条纹灰度，选择无色相区域合理的投影仪投影光强，采集该区域的变形条纹，更新无色相区域合成条纹图灰度；步骤7、重建物体三维面形，根据合成变形条纹恢复物体表面绝对相位，结合标定参数，重建物体三维面形。

3.根据权利要求2所述的一种基于色相优化灰度的彩色物体结构光三维测量方法，其特征在于，利用R、G、B三通道条纹的调制度M^R(x,y)、M^G(x,y)、M^B(x,y)划分物体表面为有色相区域和无色相区域；利用公式(1)求取三通道调制度均方根误差，其中，μ为三通道调制度均值，δ为三通道调制度均方根误差，

若δ(x,y)<threshold，为无色相区域；反之，为有色相区域。

4.根据权利要求2所述的一种基于色相优化灰度的彩色物体结构光三维测量方法，其特征在于，对有色相区域，以R、G、B三通道条纹的调制度和灰度条纹的调制度为基础，计算生成合成条纹图，保存至图像F_n中：

其中，M^R(x,y)、M^G(x,y)、M^B(x,y)、M^A(x,y)分别为R、G、B通道条纹与灰度条纹的调制度。

5.根据权利要求书2所述的一种基于色相优化灰度的彩色物体结构光三维测量方法，其特征在于，提取条纹质量不佳的无色相区域，并结果存储在模板图像W中：

其中ε为设定的阈值；利用边缘提取算子提取出W的边界线后，选择边界线像素的最近邻域中属于有色相区域的像素点，连接成封闭曲线，对曲线上的点计算其包裹相位信息，结合绝对相位获取算法求取的条纹级次K(x,y)计算其绝对相位；根据绝对相位与极线约束关系反定位该像素点对应的投影仪区域：

其中，v为对应投影仪像平面的纵坐标，l₁为p₂点对应的极线，即摄像机成像面像素坐标为(x,y)点在投影仪像平面对应的极线，S为标定获取的投影仪-摄像机空间关系的本征矩阵；由于极线可表示为直线方程形式，带入本征矩阵，公式(4)可表示为：

其中，T为条纹周期；对公式(5)进行求解，可获取投影仪成像平面对应的物体无色相区域边界点，连接边界点形成封闭曲线，将属于该曲线内部的区域视为无色相区域。

6.根据权利要求2所述的一种基于色相优化灰度的彩色物体结构光三维测量方法，其特征在于，增加条纹质量不佳的无色相区域的投影光强信息，再次采集的R、G、B通道变形条纹表示为I_n ^R'、I_n ^G'、I_n ^B'，由于无色相区域对不同光照反射率相差不多，直接利用I_n ^R'、I_n ^G'、I_n ^B'获取其灰度条纹I_n ^A'，根据确定的物体无色相区域位置，更新合成条纹图F_n：

利用新的F_n求得待测物体表面的包裹相位，从而获得物体表面的绝对相位信息，根据绝对相位重建物体三维面形。