CN113310432A - 一种基于逐像素调控的自适应条纹投影三维测量方法 - Google Patents

Abstract

本发明公开了一种基于逐像素调控的自适应条纹投影三维测量方法，针对传统方法中对三维物体表面高光部分出现相位信息丢失的问题，提出结合牛顿插值多项式拟合相机‑投影仪响应曲线和多邻域匹配的方法来求取高光区域的最佳投影灰度值。首先搭建实验平台，通过CCD相机采集高反光金属表面具有不同投影灰度值的静态灰度图像序列，然后结合牛顿插值多项式快速拟合过饱和像素点的相机‑投影仪响应曲线，获得投影灰度值与相机采集灰度值之间的映射关系；通过该响应曲线求得过饱和像素点的最佳投影灰度值，进而合成自适应投影条纹图；最后将生成的自适应投影条纹图投射至高反光物体表面进行三维物体的重建工作。

Description

一种基于逐像素调控的自适应条纹投影三维测量方法

技术领域

本发明涉及三维测量技术领域，具体涉及一种基于逐像素调控的自适应条纹投影三维测量方法。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

机械行业的零件表面具有容易形成高反光的特性，且在零件自身生产和工件装配过程中容易造成磨损、变形。采用传统的三维重建方法，三维物体表面高光部分出现相位信息丢失，从而导致重建效果不佳。

发明内容

本发明提出一种基于逐像素调控的自适应条纹投影三维测量方法，用于解决或者至少部分解决现有技术中的方法存在的三维重建效果不佳的技术问题。

为了解决上述技术问题，本发明提供了一种基于逐像素调控的自适应条纹投影三维测量方法，包括：

S1：利用投影仪向待测物体表面投射灰度图；

S2：采用CCD相机采集投影仪投射的灰度图，采用阈值分割方法获得相机采集的灰度图中像素点的位置；

其中，像素点的位置表示为二值图，M_c(u_c,v_c)表示像素点在二值图对应的二进制矩阵中的取值，过饱和像素点的取值为1，其余像素点的取值为0，(u_c,v_c)表示采集图像中的像素坐标，Tb表示过饱和像素点阈值；

S3：结合牛顿插值多项式拟合过饱和像素点的相机-投影仪响应曲线，获得投影灰度图的灰度值与相机采集灰度图的灰度值之间的映射关系；

S4：根据步骤S3中的映射关系，生成最佳投影条纹图；

S5：基于生成的最佳投影条纹图进行三维重建。

在一种实施方式中，步骤S3包括：

S3.1：对过饱和像素点m_c的N对多项式函数:(x_0,m,f(x_0,m))、(x_1,m,f(x_1,m))、(x_N,m,f(x_N,m))构建如下插值多项式：

f(x_i,m)＝a_0,m+a_1,m(x-x_0,m)+a_2,m(x-x_0,m)(x-x_1,m)+...+a_N,m(x-x_0,m)(x-x_N-1,m) (2)

其中，x_0,m、x_1,m、x_N,m表示投影仪投射的灰度值，f(x_0,m)、f(x_1,m)、f(x_N,m)表示相机采集的灰度值，N表示过饱和像素点的编号，a_0,m，a_1,m，…,a_N,m为过饱和像素点的拟合曲线系数；

S3.2：结合牛顿插值多项式，求解出公式(2)的拟合曲线系数，获得投影灰度图的灰度值与相机采集灰度图的灰度值之间的映射关系。

在一种实施方式中，步骤S4包括：

S4.1：根据获得的映射关系，求解得到相机坐标系下过饱和像素点的第一最佳投影灰度值：

S4.2：进行相机-投影仪的坐标匹配，获得投影仪坐标下过饱和像素点的最佳投影灰度值，并生成最佳投影条纹图。

在一种实施方式中，步骤S4.2在进行坐标匹配时，采用多邻域匹配方法。

在一种实施方式中，步骤S4.2包括：

根据相机-投影仪的坐标匹配关系，获得投影仪坐标下过饱和像素点的位置以及第二最佳投影灰度值，其中，投影仪坐标下过饱和像素点的位置坐标为(u_p,v_p)：

其中，V和H表示投影条纹图宽度和高度，T是条纹的最大周期整数，φ_v(u_c,v_c)表示相机坐标系下任意一点(u_c,v_c)的绝对相位沿水平方向进行线性插值的计算值，φ_h(u_c,v_c)表示相机坐标系下任意一点(u_c,v_c)的绝对相位沿垂直方向进行线性插值的计算值；

将计算得到的第二最佳投影灰度值与标准正弦条纹结合得到最佳投影条纹图。

在一种实施方式中，步骤S5包括：

将生成的投影条纹图投射至物体表面并由CCD相机采集，

结合预先标定的相机和投影仪的内外参数，建立物体相位与高度的关系，重建出物体的三维模型，基于最佳投影条纹图重建出物体的点云图。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明采用牛顿插值多项式拟合相机-投影仪响应曲线的方法来获得影灰度图的灰度值与相机采集灰度图的灰度值之间的映射关系，从而可以准确计算出高光区域的最佳投影灰度值，进而合成自适应投影条纹图；最后将生成的自适应投影条纹图投射至高反光物体表面进行三维物体的重建工作，从高光去除的原理出发，通过逐像素调控技术改善高反光物体表面的条纹获取质量，将物体表面的高光部分重建完整，改善了三维测量的效果。

进一步地，与传统的三维重建算法相比。对被测物体高反光表面的去除具有更高的精度，且该算法运行速度快，对环境光的抗干扰能力强，并且在保证合成质量较高的自适应投影条纹图的前提下，可有效提高金属高反光表面的缺陷检测精度和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具体实施例搭建的实验平台示意图；

图2为本发明实施例中最大投影灰度值下采集处理图；

图3为本发明实施例中最佳投影灰度值的求取示意图；

图4为本发明实施例中多频外差相位计算流程图；

图5为本发明实施例中采用的多邻域匹配法示意图；

图6为本发明实施例中生成的以及投射后的自适应条纹图示意图；

图7为本发明实施例中重建出的点云图；

图8为本发明实施例中三维重建实验效果图。

具体实施方式

针对现有技术三维物体表面高光部分出现相位信息丢失，从而导致重建效果不佳的技术问题，本发明提供了一种基于逐像素调控的自适应条纹投影三维测量方法，该方法采用结合牛顿插值多项式拟合相机-投影仪响应曲线和多邻域匹配的方法，从而求取高光区域的最佳投影灰度值，进而合成自适应投影条纹图；最后将生成的自适应投影条纹图投射至高反光物体表面进行三维物体的重建工作，可以改善三维重建的效果。

为了达到上述技术效果，本发明的发明构思如下：

提供一种基于逐像素调控的自适应条纹投影三维测量方法，结合牛顿插值多项式拟合相机-投影仪响应曲线和多邻域匹配的方法来求取高光区域的最佳投影灰度值。首先利用投影仪向待测物体表面投射灰度图，并通过CCD相机采集高反光金属表面具有不同投影灰度值的静态灰度图像序列，然后结合牛顿插值多项式快速拟合过饱和像素点的相机-投影仪响应曲线，获得投影灰度值与相机采集灰度值之间的映射关系；通过该响应曲线求得过饱和像素点的在投影仪坐标系下的最佳投影灰度值，进而合成自适应投影条纹图；最后将生成的自适应投影条纹图投射至高反光物体表面进行三维物体的重建工作。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于逐像素调控的自适应条纹投影三维测量方法，包括：

S1：利用投影仪向待测物体表面投射灰度图；

S2：采用CCD相机采集投影仪投射的灰度图，采用阈值分割方法获得相机采集的灰度图中像素点的位置；

其中，像素点的位置表示为二值图，M_c(u_c,v_c)表示像素点在二值图对应的二进制矩阵中的取值，过饱和像素点的取值为1，其余像素点的取值为0，(u_c,v_c)表示采集图像中的像素坐标，Tb表示过饱和像素点阈值；

S3：结合牛顿插值多项式拟合过饱和像素点的相机-投影仪响应曲线，获得投影灰度图的灰度值与相机采集灰度图的灰度值之间的映射关系；

S4：根据步骤S3中的映射关系，生成最佳投影条纹图；

S5：基于生成的最佳投影条纹图进行三维重建。

在具体的实施过程中，在光学平台上自主搭建一套自适应条纹投影测量系统。试验实物图如图1所示。搭建平台包括CCD相机(Camera)、投影仪(Projector)、校正平板(Board)、计算机(Computer)等。

在同一稳定光照环境下，固定CCD相机、投影仪的位置，将校正平板随机放置在一个位置和方向上，与相机和投影仪成一定的锐角，并对相机和投影仪的内外参进行标定。通过投影仪向待测物体表面投射最大投影强度为I_max(u_p,v_p)的灰度图，并采集投射的灰度图I_max(u_c,v_c)，以获得过饱和像素点m_c的位置，最大投影灰度值为I_max，I_max与环境光有关，理想黑暗环境下取最大灰度值255。

通过CCD相机采集投影仪投射的灰度图，如图2的(a)所示。实施过程中为降低环境光照因素的影响，调整相机为较小光圈，将相机曝光时间设置为投影仪刷新帧率的整数倍。将M_c(u_c,v_c)设置成一个二进制矩阵，根据公式(1)以获取在此光强环境下的过饱和像素点m_c的位置二值图，如图2的(b)所示，Tb与设备自身产生的噪声和环境光相关。1表示像素点过饱和，在图中显示白色，其余显示为黑色。

在一种实施方式中，步骤S3包括：

S3.1：对过饱和像素点m_c的N对多项式函数:(x_0,m,f(x_0,m))、(x_1,m,f(x_1,m))、(x_N,m,f(x_N,m))构建如下插值多项式：

f(x_i,m)＝a_0,m+a_1,m(x-x_0,m)+a_2,m(x-x_0,m)(x-x_1,m)+...+a_N,m(x-x_0,m)(x-x_N-1,m) (2)

其中，x_0,m、x_1,m、x_N,m表示投影仪投射的灰度值，f(x_0,m)、f(x_1,m)、f(x_N,m)表示相机采集的灰度值，N表示过饱和像素点的编号，a_0,m，a_1,m，…,a_N,m为过饱和像素点的拟合曲线系数；

S3.2：结合牛顿插值多项式，求解出公式(2)的拟合曲线系数，获得投影灰度图的灰度值与相机采集灰度图的灰度值之间的映射关系。

具体实施过程中，通过CCD相机采集一组均匀的灰度图像序列记为P_i＝In×K×i，i＝1,2,…,N；(P_i<255)，In为第一张投影灰度图初始灰度值，K为步长，i为步数。对应投影的灰度图像记为I_i(u_p,v_p)，相机采集的图像序列记为I_i(u_c,v_c)。

在MATLAB2016b软件上对相机采集的图像序列进行处理，对相机-投影仪响应曲线进行快速标定，建立过饱和像素点m_c投影仪投射光强x_i,m＝I_i,m(u_p,v_p)与相机采集图像灰度值f(x_i,m)＝I_i,m(u_c,v_c)之间的映射关系。

结合牛顿插值多项式，可计算出公式(2)中待定系数如下：

具体实施过程中，设饱和像素点的最佳投影灰度值为x_ideal，根据拟合的单调响应曲线可知，当采集的灰度图像序列I_i(u_c,v_c)时，相机会产生过饱和情况，则当满足公式(5)时，则可求出相机的最佳投影灰度值。如图3所示。

x_idael＝min(I_k(u^c,v^c)＞Tb) (5)

根据响应曲线的单调性可知，取使m_c过饱和的最小投影灰度值，即为最佳投影灰度值。

本发明采用的结合牛顿插值多项式拟合过饱和像素点的相机-投影仪响应曲线的方法，不用构建固定多项式函数，可以根据采集数据的多少来确定拟合次数(无采集数据点多少强制要求)并且，对于增加的节点，只需在后面多加一项，无需重新计算。加快了运算速度。

在一种实施方式中，步骤S4包括：

S4.1：根据获得的映射关系，求解得到相机坐标系下过饱和像素点的第一最佳投影灰度值：

S4.2：进行相机-投影仪的坐标匹配，获得投影仪坐标下过饱和像素点的最佳投影灰度值，并生成最佳投影条纹图。

具体地，在求出过饱和像素点的第一最佳投影灰度值后，需要将相机坐标系下点m_c(u^c,v^c)的第一最佳投影灰度值转换为投影仪坐标系下坐标点(u^p,v^p)的第二最佳投影灰度值。在低灰度模式下实现相机-投影仪的坐标匹配，并生成自适应条纹图。

在一种实施方式中，步骤S4.2在进行坐标匹配时，采用多邻域匹配方法。

在一种实施方式中，步骤S4.2包括：

根据相机-投影仪的坐标匹配关系，获得投影仪坐标下过饱和像素点的位置以及第二最佳投影灰度值，其中，投影仪坐标下过饱和像素点的位置坐标为(u_p,v_p)：

其中，V和H表示投影条纹图宽度和高度，T是条纹的最大周期整数，φ_v(u_c,v_c)表示相机坐标系下任意一点(u_c,v_c)的绝对相位沿水平方向进行线性插值的计算值，φ_h(u_c,v_c)表示相机坐标系下任意一点(u_c,v_c)的绝对相位沿垂直方向进行线性插值的计算值；

将计算得到的第二最佳投影灰度值与标准正弦条纹结合得到最佳投影条纹图。

在具体实施过程中，本发明采用四步相移法实现绝对相位的求取，向物体表面投射最佳条纹个数为70、64、59的横纵向条纹图，利用多频外差四步相移法进行相位解算。求得条纹个数为70、64、59的相位主值分别记为Ф₁、Ф₂、Ф₃，再通过外差法计算Ф₁、Ф₂与Ф₂、Ф₃的叠加相位Ф₁₂、Ф₂₃，最后将相位为Ф₁₂、Ф₂₃的相位叠加到全场范围内只有一个周期的相位Ф₁₂₃。实现流程图如图4所示。

相机坐标系下一点m_c(u_c,v_c)的绝对相位可以沿着垂直和水平方向分别进行线性插值计算，分别记为φ_v(u_c,v_c)和φ_h(u_c,v_c)。坐标匹配计算公式如(3)所示

但在实际测量过程中，由于相机、投影仪的分辨率不同并不能完整的一一对应，会出现多对一的情况。因此，如图5所示将相机坐标系中点m_c(u_c,v_c)对应投影仪坐标系下点m_p(u_p,v_p)及其周围4邻域的坐标范围，即调节点m_p的灰度值意味着调节点m_p及其周围4邻域区域的灰度值。

在建立相机-投影仪坐标系的对应关系后，将计算得到的投影仪坐标系下点m_p的最佳投影灰度值与标准正弦条纹结合即可得到最佳投影条纹图，如图6的(a)所示。

在一种实施方式中，步骤S5包括：

将生成的投影条纹图投射至物体表面并由CCD相机采集，

结合预先标定的相机和投影仪的内外参数，建立物体相位与高度的关系，重建出物体的三维模型，基于最佳投影条纹图重建出物体的点云图。

在具体的实施过程中，将生成的自适应条纹图投射至物体表面并由CCD相机采集如图6的(b)所示。结合预先标定的投影仪和相机的内外参数以建立物体相位与高度的关系，重建出物体的三维模型，基于自适应条纹投影重建出物体的点云图如图7所示。

如图8所示，与传统三维重建方法对比，经逐像素调控的自适应条纹投影技术处理后得到的三维模型图像质量高，细节部分显示更清晰，可有效的去除高光对三维重建的影响。

与现有技术相比，本发明的优点和有益技术效果优如下：

1.机械行业的零件表面具有容易形成高反光的特性，且在零件自身生产和工件装配过程中容易造成磨损、变形。而传统工业质检测环节通常为人为抽检、以模代检，存在较大的主观性和不稳定性。故引入机器视觉检测方法可解放人工作业，提高生产效率。

2.与传统的三维重建算法相比，本发明公开一种新的相机-投影仪拟合响应曲线算法。对被测物体高反光表面的去除具有更高的精度，且该算法运行速度快，对环境光的抗干扰能力强，并且在保证合成质量较高的自适应投影条纹图的前提下，可有效提高金属高反光表面的缺陷检测精度和效率。

3.本发明公开一种基于逐像素调控的自适应投影条纹生成方法，从高光去除的原理出发，通过逐像素调控技术改善高反光物体表面的条纹获取质量，将物体表面的高光部分重建完整，改善了三维重建的效果。本发明采用通过软件改进算法的方式可以降低成本，有利于普及大众，解放劳动力。

本发明中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于逐像素调控的自适应条纹投影三维测量方法，其特征在于，包括：

S1：利用投影仪向待测物体表面投射灰度图；

S2：采用CCD相机采集投影仪投射的灰度图，采用阈值分割方法获得相机采集的灰度图中像素点的位置；

其中，像素点的位置表示为二值图，M_c(u_c,v_c)表示像素点在二值图对应的二进制矩阵中的取值，过饱和像素点的取值为1，其余像素点的取值为0，(u_c,v_c)表示采集图像中的像素坐标，Tb表示过饱和像素点阈值；

S3：结合牛顿插值多项式拟合过饱和像素点的相机-投影仪响应曲线，获得投影灰度图的灰度值与相机采集灰度图的灰度值之间的映射关系；

S4：根据步骤S3中的映射关系，生成最佳投影条纹图；

S5：基于生成的最佳投影条纹图进行三维重建。

2.如权利要求1所述的三维测量方法，其特征在于，步骤S3包括：

S3.1：对过饱和像素点m_c的N对多项式函数值:(x_0,m,f(x_0,m))、(x_1,m,f(x_1,m))、(x_N,m,f(x_N,m))构建如下插值多项式：

f(x_i,m)＝a_0,m+a_1,m(x-x_0,m)+a_2,m(x-x_0,m)(x-x_1,m)+...+a_N,m(x-x_0,m)(x-x_N-1,m) (2)

其中，x_0,m、x_1,m、x_N,m表示投影仪投射的灰度值，f(x_0,m)、f(x_1,m)、f(x_N,m)表示相机采集的灰度值，N表示过饱和像素点的编号，a_0,m,a_1,m,...a_N,m为过饱和像素点的拟合曲线系数；

S3.2：结合牛顿插值多项式，求解出公式(2)的拟合曲线系数，获得投影灰度图的灰度值与相机采集灰度图的灰度值之间的映射关系。

3.如权利要求2所述的三维测量方法，其特征在于，步骤S4包括：

S4.1：根据获得的映射关系，求解得到相机坐标系下过饱和像素点的最佳投影灰度值：

S4.2：进行相机-投影仪的坐标匹配，获得投影仪坐标下过饱和像素点的最佳投影灰度值，并生成最佳投影条纹图。

4.如权利要求3所述的三维测量方法，其特征在于，步骤S4.2在进行坐标匹配时，采用多邻域匹配方法。

5.如权利要求3所述的三维测量方法，其特征在于，步骤S4.2包括：

根据相机-投影仪的坐标匹配关系，获得投影仪坐标下过饱和像素点的位置以及第二最佳投影灰度值，其中，投影仪坐标下过饱和像素点的位置坐标为(u_p,v_p)：

其中，V和H表示投影条纹图宽度和高度，T是条纹的最大周期整数，φ_v(u_c,v_c)表示相机坐标系下任意一点(u_c,v_c)的绝对相位沿水平方向进行线性插值的计算值，φ_h(u_c,v_c)表示相机坐标系下任意一点(u_c,v_c)的绝对相位沿垂直方向进行线性插值的计算值；

将计算得到的最佳投影灰度值与标准正弦条纹结合得到最佳投影条纹图。

6.如权利要求1所述的三维测量方法，其特征在于，步骤S5包括：

将生成的投影条纹图投射至物体表面并由CCD相机采集，

结合预先标定的相机和投影仪的内外参数，建立物体相位与高度的关系，重建出物体的三维模型，基于最佳投影条纹图重建出物体的点云图。

Images