CN110926339A

CN110926339A - 一种基于一次投影结构光平行条纹图案的实时三维测量方法

Info

Publication number: CN110926339A
Application number: CN201811090519.8A
Authority: CN
Inventors: 王振洲
Original assignee: Shandong University of Technology
Current assignee: Shandong University of Technology
Priority date: 2018-09-19
Filing date: 2018-09-19
Publication date: 2020-03-27

Abstract

本发明公开了一种基于一次投影结构光平行条纹图案的实时三维测量方法。通过结构光投影装置，将单幅黑白或者彩色结构光平行条纹图案投影到被测物体表面，通过单个摄像装置记录变形的黑白或者彩色结构光条纹图案，通过条纹分割技术提取出每一条变形条纹，通过条纹聚类技术对提取出的变形条纹进行从下至上或者从上至下分类，通过样条函数拟合分类后的变形条纹，根据拟合线在图像中的纵向坐标生成纵坐标矩阵，通过样条内插方法提高坐标矩阵的分辨率，使其与摄像装置图像分辨率一致，生成纵坐标图，通过纵坐标图与标定好的系统参数实时计算出被测物体的三维形状。本发明可以在暗室或者室外场景对静止，运动或者变形物体进行实时鲁棒测量。

Description

一种基于一次投影结构光平行条纹图案的实时三维测量方法

技术领域

本发明涉及光学三维传感技术，特别是涉及通过投影单幅由平行黑白条纹或者彩色条纹组成的图案实现对物体表面三维形状的实时测量。

背景技术

本发明涉及一种基于一次投影结构光的实时三维测量方法。基于一次投影结构光的三维测量技术既能测量静止物体的三维数据，也能测量运动或变形物体的三维数据，完全不受物体运动状态的限制。目前可以对运动或者变形物体进行实时测量的技术主要包括双目/多目视觉技术，time of flight (TOF)技术与一次投影结构光测量技术。其中，双目/多目视觉技术算法复杂度高，很难达到实时的要求。此外，双目/多目视觉技术的测量精度不高，并且容易受物体纹理或者光照条件的影响。TOF技术实时性好，抗干扰能力强，但是分辨率与精度都不高。相比之下，一次投影结构光三维测量技术具有更高的分辨率与测量精度。然而现有的一次投影结构光测量技术的测量精度与抗干扰能力还有待提高。相移法（phase shifting profilometry）是一种传统的结构光三维测量技术，它的优点包括测量精度高，测量速度快以及成本低等，请参见文献Z.Z. Wang, "Robust measurement of thediffuse surface by phase shift profilometry," Journal of optics, 16 (10),105407, (2014)。因此，基于相移法的三维测量技术已经成为三维测量市场的主流产品。然而它需要至少向被测物体投影三幅以上的相位图案，并且要求被测物体保持完全的静止状态。因此相移法及其相关产品都无法对运动或者变形物体进行鲁棒测量。此外，相移法用到的结构光图案是连续的相位，因此它抵抗外界光线干扰的能力非常差。如何通过单幅图像求解出相移法至少需要三幅图像才能求解的纵坐标图(y^p)，从而达到对运动或变形物体进行精确的测量，是应用本发明可以解决的问题。同时，本发明采用的条纹编码是二进制编码，比连续的相位更加容易抵抗外界光线与噪音的干扰,请参见文献Z.Z. Wang,unsupervised recognition and characterization of the reflected laser linesfor robotics gas metal arc welding, IEEE Transactions on industrialinformatics, 13(4), 1866-1876, (2017)。因此，本发明可以在暗室中也可以在室外光照场景中对静止，运动或变形物体进行实时的三维测量。

发明内容

本发明的目的是针对现有的实时结构光三维测量技术测量精度偏低，抵抗外界光线干扰能力差等缺陷，提供一种基于一次投影结构光平行条纹的三维测量方法，该方法基于单幅图像计算出传统相移法需要通过三幅以上图像才能计算出的纵坐标图，既满足了三维测量的实时性，又保证了测量精度非常接近传统相移法的三维测量精度。

为了实现上述发明的目的，本发明采用下述技术方案实现：

使用结构光投影装置，将单幅黑白或者彩色结构光平行条纹图案投影到被测物体表面，该黑白或者彩色结构光平行条纹图案，是指通过二进制编码或者余弦函数编码生成若干条平行条纹，相邻平行条纹间隔相同。使用单个摄像装置记录变形的黑白或者彩色结构光条纹图案，通过条纹分割技术提取出每一条变形条纹，该条纹分割技术通过卷积的方法计算变形条纹的梯度，减少图像中的噪音与不均匀背景，通过基于斜率差的阈值选取方法计算全局阈值。通过条纹聚类技术对提取出的变形条纹进行从下至上或者从上至下分类，该条纹聚类技术的起始点从每条变形条纹的中部选取，通过计算变形条纹的斜率方向分别向左与向右进行聚类，每次聚类后都用数字依次标识被聚类的变形条纹。通过优化能量函数，拟合分类后的变形条纹，根据拟合线在图像中的纵向坐标生成纵坐标矩阵，该纵坐标矩阵对应每条变形条纹的纵向坐标。通过样条内插方法提高坐标矩阵的分辨率，使其与摄像装置图像分辨率一致，生成纵坐标图，该纵坐标图对应物体表面的纵向坐标，纵坐标图与物体的三维坐标的对应关系需要通过标定获得。标定过程需要通过标定板上标志点的已知三维坐标与标定板的纵坐标图，计算出三维测量系统中纵坐标图与三维坐标的纵坐标仿射变换矩阵。需要通过标定板上标志点的已知三维坐标与标志点在摄像装置中的坐标，计算出三维测量系统中相机坐标与三维坐标的相机仿射变换矩阵。通过纵坐标图与标定好的系统参数实时计算出被测物体的三维形状。该系统参数由纵坐标仿射变换矩阵与相机仿射变换矩阵组成。

本发明与现有技术相比，有如下优点：

本发明投影的结构光图案为明暗相间的黑白条纹，或者RGB三色组成的彩色条纹。在抓取的变形条纹图像中，条纹的对比度明显，即使有外界光线的干扰，也很容易通过设计专门的图像处理方法将条纹精确地分割出来。因此本发明即可以在暗室中进行测量，也可以在室外场景中进行测量。本发明通过优化能量函数，拟合聚类后条纹，得到光滑连续的拟合线，而所有拟合线的纵坐标组成纵坐标矩阵。通过样条内插把纵坐标矩阵转换为与抓取的图像分辨率相同的纵坐标图。由于纵坐标图光滑连续，重构的精度与分辨率和传统相移法的重构精度与分辨率基本相同，从而优于其他实时测量技术的精度与分辨率。由于是单幅图像生成纵坐标图，所以本发明即解决了现有实时测量技术精度偏低的难题，又解决了精度相对偏高的相移法无法测量运动或变形物体的难题。

附图说明

图1为本发明的系统结构图。

图2 为本发明的系统标定流程图。

图3 为本发明的实时三维测量流程图。

具体实施方式

下面根据附图与工作原理，对本发明进行详细说明。

附图1是本发明的系统结构图。包括一台工业相机，一台工业投影仪与一台高性能计算机。为了保证三维重构结果的分辨率，工业相机与工业投影仪的分辨率分别选为1280×1024与1920×1080或者更高。相机的图像捕捉帧率与投影仪的投影帧率都大于10帧/秒。因为条纹图案生成，图像捕捉，图像处理与三维重构都是由计算机完成，因此为了达到实时的要求，计算机选为i7-6700 CPU@ 3.4GHz 16G ram或者更高性能的配置。

附图2是本发明的系统标定流程图。主要包括两个部分：(1),计算标定板的标志点聚类图像； (2),计算标定板的纵坐标图。

第一部分标志点聚类的具体实施步骤如下：

如图1所示，将被测物体换成标定板，而在工业投影仪不工作的情况下，计算机控制工业相机捕捉标定板的清晰图像，其分辨率为M ₂×N ₂。

通过如下方法，分割出标定板上所有标志点。

通过如下高斯加权移动平均滤波器对标定板图像进行滤波:

(1)

其中(μ _x , μ _y)是移动窗口的中心像素值, σ _k是常数。

通过下列公式将滤波后的标定板图像的灰度值分布G(i,j),i=1,2,…,M ₂ ; j=1, 2,…,N ₂转换到区间[0, 255]：

(2)

(3)

再通过下列公式计算转换图像的直方图分布P(x)：

(4)

(5)

其中，F _i表示像素i在转换图像中发生次数，在转换图像中发生次数最大的像素为j，其发生次数为F _j。

通过下式将直方图分布P(x)转换到频域：

　　　　 (6)

通过下式去掉频域中的高频部分：

　　　　　 (7)

通过下式将去掉高频部分的直方图分布变换回空间域：

　　 (8)

P´(x)是滤波后的直方图分布。

对于滤波后的直方图分布P´(x)上的每个点(x, P´(x)), x=16,17,18,…,239, 240，分别在其两侧选取15个最临近点，通过下式分别拟合一条左侧直线与右侧直线：

(9)

其中， a是拟合直线的斜率。[a,b]^T是拟合直线的系数，由下列公式计算：

(10)

or

(11)

(12)

其中，[(x-15, P´(x-15)),( x-14, P´(x-14)),…,( x-2, P´(x-2)),( x-1, P´(x-1))]是点(x, P´(x))左侧15个最临近点, [(x+1, P´(x+1)),( x+2, P´(x+2)),…,( x+14, P´(x+14)),( x+15, P´(x+15))]是点(x, P´(x))右侧15个最临近点。

左侧拟合直线的斜率由a _l表示，右侧拟合直线的斜率由a _r表示，那么点(x, P´(x))的斜率差s(x)由下式计算：

(13)

上式计算的斜率差s(x)是离散形式的，其连续形式被称为斜率差分布。对斜率差分布求导数并且让其等于0：

(14)

求解上述方程，得到斜率差分布的一系列谷值。选择强度最大的谷值，其对应的灰度值为最优阈值。

使用最优阈值对滤波后的标定板图像进行分割，得到二值化标定板图像。通过形态学面积开操作(bwareaopen)去除二值化标定板图像中小面积对象。对剩下的对象进行自动标识，生成一副标识图像L。每个对象都有一个唯一标识的数字i，i=1,2,…,N。N是图像中的对象总数。在分辨率为M ₂×N ₂的标定板图像中，假设纵坐标方向的所有坐标索引的集合为Y={1,2,…,M ₂}，横坐标方向的所有坐标索引的集合为X={1,2,…,N ₂}。

每个标识对象上所有点的坐标集合(X _i , Y _i)由下式计算：

(15)

由下式计算出一个区分标志点与非标志点的面积阈值：

(16)

标志点上所有像素的坐标集合(X _M , Y _M)由下式计算：

(17)

由下式初始化一副分辨率为M ₂×N ₂的标志点图像I _M：

(18)

通过坐标集合(X _M , Y _M)，更新初始化的标志点图像C _M：

(19)

在标志点图像中I _M, 根据标志点的分布，可以分为K ₁列，每列有K ₂个标志点。本发明通过如下方法，区分不同列的标志点。

对标志点图像I _M中所有标志点进行自动标识，生成一副标识图像L _M。每个标志点都有一个唯一标识的数字i，i=1,2,…, K ₁×K ₂。K ₁×K ₂是标志点图像I _M中的标志点总数。第i个标识标志点上所有像素的坐标集合(X _i ^M , Y _i ^M)由下式计算：

(20)

在标识图像L _M中，第i个标识标志点的横坐标x _i由下式计算：

(21)

标识图像L _M中的所有标志点的横坐标由下式计算:

(22)

通过下式计算相邻标志点的横坐标差：

(23)

本发明利用相邻横坐标差分布中，K ₁ -1个峰值对应的位置来区分不同列的标志点。K ₁-1个峰值位置p _j , j=1,2,…, K ₁ -1按照升序由下列公式计算：

(24)

(25)

不同列之间的位置P _j, j= K ₁ -1, K ₁ -2,…,2,1按照降序由下列公式计算：

(26)

(27)

(28)

第j列中所有标志点上所有像素的坐标集合(X _Mj , Y _Mj)由下式计算：

(29)

通过下列公式生成K ₁副分辨率为M ₂×N ₂的图像Ｍ _j , j=1,2,…,K ₁：

(30)

(31)

对于任意一副图像Ｍ _j , j=1,2,…,K ₁，通过如下方法对其包含的K ₂个标志点从上至下进行聚类。

步骤1: 生成一副分辨率为M ₂×N ₂的聚类图像C _j，将其所有像素值初始化为0。对Ｍ _j中所有标志点进行自动标识，生成一副标识图像L _ｊ。每个标志点都有一个唯一标识的数字i，i=1,2,…, K ₂。

步骤2:聚类第一个标志点，首先计算Ｍ _j中大于零的最上面的点，也就是拥有最小纵坐标值的标志点上的像素坐标(x _t , y _t)：

(32)

再计算在标识图像L _j中所有与(x _t , y _t)具有相同像素值的坐标集合(X _t , Y _t)：

(33)

在Ｍ _j中将坐标集合(X _t , Y _t)对应的点赋值0：

(34)

在聚类图像C _j中将坐标集合(X _t , Y _t)对应的点赋值1：

(35)

步骤3：聚类第i，i=2个标志点，再次通过公式(32)计算拥有最小纵坐标的标志点上像素坐标 (x _t , y _t)。再次通过公式(33)计算L _ｊ中所有与(x _t , y _t)具有相同像素值的坐标集合(X _t , Y _t)。聚类图像C _j中坐标集合(X _t , Y _t)对应的像素，由下式更新：

(36)

通过公式(34),将Ｍ _j中坐标集合(X _t , Y _t)对应的点赋值0。

步骤 4: 重复步骤3，依次聚类第i，i=3,…, K ₂个标志点。

步骤 5: 通过步骤1-4，依次聚类包含不同列中标志点的图像Ｍ _j , j=1,2,…, K ₁，得到聚类图像Ｃ _j , j=1,2,…, K ₁，最后通过下列公式，计算最终的标志点聚类图像Ｃ _Ｍ：

(37)

(38)

在标定板的标志点聚类图像中，计算出每个聚类标志点的相机坐标(x _k ^c , y _k ^c), k=1, 2,3,…, K ₁×K ₂。

第二部分是纵坐标图的计算,具体实施步骤如下：

如图1所示，将被测物体换成标定板，计算机控制工业投影仪将结构光平行条纹投影到标定板上，同时，控制工业相机捕捉标定板的变形条纹图像。对捕捉的条纹图像进行如下处理。

利用公式(1)所描述的高斯加权移动平均滤波器，对捕捉图像进行滤波。

利用如下的梯度特征滤波器来增强变形条纹，同时去除图像不均匀灰度背景：

(39)

其中

(40)

(41)

(42)

(43)

其中N等于条纹宽度。k是常数，w _h与w _v是加权系数。VH是一个(N+1)×(N+1)的矩阵。R(VH,θ)表示将矩阵VH逆时针旋转θ度。在本发明中θ等于90度。

本发明再利用公式(2)-(14)所描述的阈值选取方法对增强的条纹进行分割。

本发明利用如下方法对分割出的条纹进行聚类。

首先，分割后的二进制图像从中间被分为两副图像：左图像与右图像。在左图像中，自上而下，自左至右地搜素每条条纹的聚类起始点。在右图像中，自上而下，自右至左地搜索每条条纹的聚类起始点。对于每个起始点，选取E个最邻近点，通过如下公式拟合一条直线:

(44)

(45)

(46)

(47)

其中，(x _i,y _i), i=1,2,…,E 是E个最邻近点。[a ₁,a ₂]^T拟合直线的系数。那么第E+1个拟合点可以通过下式计算:

(48)

在左图或右图中条纹上搜索距离拟合点(x _E+1,y _E+1)的距离小于T _d的点，将满足条件的点设定为该条纹的聚类点，并用该条纹的聚类标识数值赋予聚类点相同的像素值。用最新聚类的点更新E个最邻近点。再次使用更新的E个最邻近点，通过公式(44)-(48)拟合直线聚类条纹上的点并且获得新的E个最邻近点。如此反复，直至到达条纹的终端。详细聚类过程请参阅论文“Z.Z. Wang, unsupervised recognition and characterization of thereflected laser lines for robotics gas metal arc welding, IEEE Transactionson industrial informatics, Vol.13, No. 4, pp.1866-1876,2017”。

通过上述方法对标定板中的分割条纹进行聚类之后，得到标定板的聚类图像G _C。

利用如下方法从标定板的聚类图像G _C中计算出纵坐标图。

步骤1: 生成一副分辨率为M ₁×N ₂的纵坐标矩阵V，将其所有像素值初始化为0:

(49)

其中，X _N={1,2,…, M ₁}。

步骤 2: 通过下式，计算标定板条纹聚类图像中的第i条聚类条纹的坐标集合：

(50)

通过优化下列能量函数，拟合第i条聚类条纹为光滑连续的曲线S _i:

(51)

其中，α是平滑系数，其默认值是0.5。

通过下列公式，将拟合曲线S _i超出条纹横坐标范围的部分补零：

(52)

(53)

其中B是结构元素，N _B是结构元素的大小。纵坐标矩阵V的第i行由下式更新：

(54)

步骤 3: 从i=1开始，重复步骤2，直至i= M ₁。

本发明通过样条函数内插的方法把纵坐标矩阵V的分辨率从M ₁×N ₂提高到M ₂×N ₂，生成标定板纵坐标图y ^p。

利用计算出的标定板纵坐标图y ^p与标定板上聚类标志点的相机坐标(x _k ^c , y _k ^c), k =1,2,3,…, K ₁×K ₂，通过如下系统标定方法计算附图2所示的系统参数。首先，相机仿射变换矩阵M _WC由下式计算：

(55)

其中，(X _k ^W , Y _k ^W , Z _k ^W), k=1,2,3,…, K ₁×K ₂是标志点的世界坐标。

其次，纵坐标仿射变换矩阵M _WP由下式计算：

(56)

其中，(x _k ^p , y _k ^p), k=1,2,3,…, K ₁×K ₂是标志点在纵坐标图中对应的坐标。

附图2中的系统参数由相机仿射变换矩阵M _WC和纵坐标仿射变换矩阵M _WP组成。

附图3是本发明的实时三维测量流程图。具体实施步骤如下：

如图1所示，计算机控制工业投影仪将结构光平行条纹投影到被测物体上，同时，控制工业相机捕捉被测物体的变形条纹图像。

通过公式(1)所描述的移动平均滤波器对捕捉捉图像进行滤波。

通过公式(39)-(43)所描述的梯度特征滤波器对捕捉图像中条纹进行增强。

通过公式 (2)-(14)所描述的阈值选取方法对增强后的条纹进行分割。

通过公式(44)-(48) 所描述的条纹聚类方法对分割后的条纹进行聚类。

通过公式(49)-(54)所描述的方法生成被测物体的纵坐标图。

通过被测物体纵坐标图与系统参数，M _WC和M _WP，计算其三维坐标(X ^W , Y ^W , Z ^W)：

(57)

其中，(x ^c , y ^c , y ^p)是被测物体的相机坐标与被测物体纵坐标图中的对应值。

Claims

1.一种适用于三维传感测量中使用单幅黑白或者彩色结构光平行线图案与实时图像处理技术的实时光学三维测量方法，其特征是使用结构光投影装置，将单幅黑白或者彩色结构光平行条纹图案投影到被测物体表面，使用单个摄像装置记录变形的黑白或者彩色结构光条纹图案，通过条纹分割技术提取出每一条变形条纹，通过条纹聚类技术对提取出的变形条纹进行从上至下分类，通过样条函数拟合分类后的变形条纹，根据拟合线在图像中的纵向坐标生成纵坐标矩阵，通过样条内插方法提高坐标矩阵的分辨率，使其与摄像装置图像分辨率一致，生成纵坐标图，通过纵坐标图与系统参数实时计算出被测物体的三维形状。

2.按照权利要求1所述的方法，将单幅黑白或者彩色结构光平行条纹图案投影到标定板表面，计算出标定板纵坐标图，通过摄像装置记录原始的标定板图像，通过标志点检测与聚类方法，将标志点从上至下从左到右依次聚类，并且计算出每个标志点的相机坐标，通过标定板纵坐标图，聚类标志点的相机坐标以及聚类标志点的世界坐标，标定出系统参数。

3.按照权利要求1所述的方法，其特征在于所说的黑白或者彩色结构光平行条纹图案，是指通过二进制编码或者余弦函数编码生成若干条平行条纹，相邻平行条纹间隔相同。

4.按照权利要求1所述的方法，其特征在于所说的条纹分割技术通过卷积计算变形条纹的梯度，减少图像中的噪音与不均匀背景，通过基于斜率差的阈值选取方法计算全局阈值。

5.按照权利要求1所述的方法，其特征在于所说的条纹聚类技术的起始点从每条变形条纹的中部选取，通过计算变形条纹的斜率方向分别向左与向右进行聚类，每次聚类后都用数字依次标识被聚类的变形条纹。

6.按照权利要求1所述的方法，其特征在于所说的系统参数由纵坐标仿射变换矩阵与相机仿射变换矩阵组成，系统参数通过系统标定获得。

7.按照权利要求1所述的方法，其特征在于所说的系统标定是指通过已知的标定板上标志点三维坐标，标定板的纵坐标图与标志点的相机坐标计算系统参数的过程。

8.按照权利要求1所述的方法，其特征在于系统标定之后，通过单幅图像中计算出的纵坐标图与标定得到的系统参数，实时计算出被测物体表面的三维形状。

9.按照权利要求2所述的方法，其特征在于所说的标志点检测方法是指通过基于斜率差分布的阈值选取算法，计算出全局阈值对标定板原始图像进行分割，再计算标志点面积阈值，通过面积阈值，得到所有标志点。

10.按照权利要求2所述的方法，其特征在于所说的标志点聚类方法是指自动检测出每列中的标志点，再对每列中的标志点进行自上至下的聚类，最后合并所有列中的标志点聚类结果。