CN116824047A

CN116824047A - 一种基于条纹图像增强的结构光三维重建方法

Info

Publication number: CN116824047A
Application number: CN202310653504.2A
Authority: CN
Inventors: 王微; 李翔宇
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2023-06-02
Filing date: 2023-06-02
Publication date: 2023-09-29

Abstract

本发明公开了一种应用条纹图像增强的结构光三维重建方法，其方法包括：1、搭建三维结构光重建系统，利用投影仪向物体投射所设计的编码结构光图案；2、利用两台工业相机拍摄得到物体的图像；3、对读取到的条纹信息利用改进的基于Retinex的图像增强算法，采用改进的双边滤波作为中心环绕函数对图像进行高光消除，并通过伽马变换进行对比度调节，实现条纹图像增强；4、对图像上投影的格雷码及相位进行求解；5、结合相机的内外参数，利用视差原理得到物体上各点的三维空间坐标；6、根据物体中点的三维空间坐标生成的点云图，完成三维点云重建。该方法能有效的对结构光条纹图像增强，以获得更为丰富的信息，更好的还原物体的三维形貌特征。

Description

一种基于条纹图像增强的结构光三维重建方法

技术领域

本发明属于三维重建领域，涉及一种基于条纹图像增强的结构光三维重建方法。

背景技术

当前，立体视觉技术相关的领域越发受到人们的重视，需要依赖目标对象三维信息采集的技术逐渐增多。三维视觉早已不断地融入于日常建造和科研工作中，在智能制导系统中可以用于精准导航、目标抓拾，在工业自动化控制工程中可用于零部件定位、缺陷检测、环境检测。

三维重建工程是机器视觉和计算机视觉行业中的前沿科技，在二维技术发展的今天，很多产品的结构复杂程度日益增大，市场有越来越多的产品，要求实现检测和重建。

双目结构光系统有更高的三维重建精度，但在重建过程中，会存在噪声或过曝等情况造成投影图像信息缺失，影响三维重建过程的效果和重建的精度。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种基于条纹图像增强的结构光三维重建方法，以提高双目结构光三维重建的精度。

为实现上述目的，本发明采用的方案是：

步骤1、搭建三维结构光重建系统，所述三维重建系统包括两台工业相机、一台高精度投影仪，一台计算机；

步骤2、根据相机的参数，对相机进行标定，并获得相机的内外参数，对相机进行畸变校正；

步骤3、利用投影仪向物体投射所设计的编码结构光图案；

步骤4、利用双目立体视觉系统的相机采集重建物体的左图像和右图像，并对图像进行立体校正；

步骤5、引入具有周期性的相移法，与时间编码方法结合确定边界精度；

步骤6、提出基于Retinex的图像增强算法，采用改进的双边滤波作为中心环绕函数对图像进行高光消除，并通过伽马变换进行对比度调节；

步骤7、匹配左视图与右视图中的点，并获得左图像和右图像上的对应匹配点关于物体上点P的视差；

步骤8、结合相机的内外参数，利用视差原理得到物体上各点的三维空间坐标；

步骤9、根据物体上多点的三维空间坐标生成物体稀疏的点云图，完成物体三维重建。

具体地，所述步骤2包括：

先对左相机进行标定，得到左相机的内外参数，外参数包括一个旋转矩阵和一个平移矩阵；

左相机和右相机的内参数和旋转矩阵相同，右相机的平移矩阵由左相机的平移矩阵和两个相机的距离得到，从而得到右相机的内外参数。

所述步骤3包括：

向研究对象的表面投射设计的结构光编码图案，利用相机拍摄图像；

通过计算机根据解码原理求出待测对象表面变形编码图案的解码值，然后利用结构光的基本原理，求出目标上相应的三维坐标。

所述步骤6包括：

通过消除入射分量对反射分量的影响，用I表示人眼所观察到的原始图像信息，R为反射分量，L为入射分量，(x,y)为图像中任意某点的像素。实现图像增强：

I(x,y)＝R(x,y)·L(x,y)

使用改进的高斯环绕函数对图像进行滤波：

式中，N是尺度参数的个数，ω_k是不同尺度的权重系数，F_k(x,y)为中心环绕函数。

对图像中的像素进行卷积，用模板确定的邻域内像素的加权平均灰度值，代替模板中心像素点的灰度值，完成滤波，计算滤波模板内中心点像素与其他位置像素差值Δ，设定滤波模板内中心点像素与其他位置像素差值的平均值为值域核阈值T，改进灰度核函数：

中心像素点与其邻域点的灰度值之差超过设定阈值，即Δ≥T时，认为此像素点处于边缘区域，将其滤波权重设为零，不参与滤波处理。当Δ＜T时，计算权重并参与双边滤波。f(i,j)是模板中心点的灰度值，f(k,l)是邻域内任一点的灰度值。

所述步骤7包括：

在每个通道的两个视图中，首先根据点的线识别号进行匹配，然后将具有相同行标识号的点按其行识别号进行匹配，由此将两个视图中的聚类点进行匹配；

得到左图像和右图像的匹配角点像素坐标，即左图像某角点l(x^l，y^l)和右图像某角点r(x^r，y^r)；

由于已经对图像进行立体校正，实现行对准，所以点l和点r的y轴坐标相同，左图像和右图像上的对应匹配点关于物体上点P的视差可直接表示为d＝x^l-x^r。

所述步骤8包括：

利用区域匹配算法计算匹配点，通过坐标系之间的关联进行重建；

根据两个相机的中心点距离和匹配点对，通过相似三角形确定空间点的三维坐标：

P＝(A^TA)^-1A^Tb

附图说明

图1为本发明的方法流程图。

图2为本发明双目结构光设备结构图。

图3为本发明中条纹图像增强算法流程图。

具体实施方式

下面将结合附图对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1和图3所示，本发明实施例中：一种基于条纹图像增强的结构光三维重建方法，采用编码结构光对物体进行投影，利用改进的图像增强算法对条纹图像进行增强，最终实现对于物体的三维重建。

具体的工作流程为：搭建双目系统，典型的结构光三维重建系统的组成有工业相机、投影仪、计算机、研究对象四部分成。利用计算机对结构光图案进行编码设计，接着使用两台工业相机分别拍摄经研究对象表面高度调制的变形的编码图案。将变形结构光图案传入计算机，对含噪和不清晰部分，运用条纹图像增强算法进行处理。根据设计好的编码方案、解码方案、系统标定方法以及硬件设备的参数信息计算研究对象的三维信息并对其形貌进行重构。

具体实施方案一：结构光编码解码。

本发明采用的是基于格雷码和相移技术结合的编码方法研究。生成格雷码是将n位普通二进制码序列上各位码字逐位进行异或运算，生成n位格雷码序列。n位格雷码可以由n-1位格雷码得到，具体方式为：首先列出n-1位格雷码的2^n-1个编码序列，然后将该序列进行取反，即得到其逆序列，写在前一个编码序列的后面，这将得到一个2ⁿ个码值序列，最后，在正序列码值的左侧添加数字“0”，在逆序列码值的左侧添加“1”，即可获得n位格雷码的编码序列。

相机在采集图像过程中，因光照角度的差异，会在图像上造成一定的阴影区域，为了减少计算量，会在投射格雷码编码图案之前先向待测物体投射两幅黑白纯色图案，用于识别并剔除阴影部分。

格雷码解码的步骤是先将格雷码转换成二进制码，再将二进制码进一步转换成十进制数值，即十进制的条纹周期级次k。具体方法为:将格雷码最左侧即最高位码字作为二进制码的最高位，二进制码的第二位由格雷码的第二位和上一步所得的码字(即二进制码的最高位)进行异或可得，以此类推，依次异或直至最低位。设有一个格雷码码值为G＝G_nG_n-1...G₂G₁,其转化为二进制码为B＝B_nB_n-1...B₂B₁，具体转化关系为:

本发明使用四步相移(N＝4)设计编码图案，与传统相移方法相比，四步相移在保证精度的同时计算量也相对较小。按照时间顺序向待测目标表面投射4幅呈周期变化的正弦光栅图案，每次移动π/2个相位，4幅图像的相位值在0～255之间呈周期性变化，像素点的相位和其在像素坐标系中的实际坐标呈正弦函数关系。四步相移法求解包裹相位公式：

联立求得接包裹相位

本发明采用互补格雷码结合四步相移技术求解绝对主相位。选择使用的四位格雷码编码图案，4幅格雷码编码图案可以生成2⁴个编码值。将GC₁～GC₄设计为四级格雷码编码图案，GC₅作为互补格雷码的五级格雷码的第五幅编码图案，k₁对应四级格雷码图案条纹阶次，k₂为第五幅互补格雷码图案的条纹阶次，为拓展到[0,2π]的包裹相位，绝对相位由公式为:

具体实施方案二：改进条纹图像增强算法。

如图2所示，本发明实施例中：条纹图像信息增强采用的是基于Retinex理论的针对条纹图像的增强算法。采用改进的双边滤波作为中心环绕函数对图像进行高光消除，并通过伽马变换进行对比度调节，有效地保留了条纹的边缘特征信息。改进的灰度函数表达式：

若中心像素点与其邻域点的灰度值之差超过设定阈值，即Δ≥T时，认为此像素点处于边缘区域，将其滤波权重设为零，不参与滤波处理。当Δ＜T时，计算权重并参与双边滤波。改进后的算法，可最大限度的避免邻域像素点对中心像素点的影响，从而有效的对图像中目标边缘区域进行保护。

将经过改进的Retinex算法处理后的图像进行伽马变换调整对比度，通过非线性变换，提高图像中的暗区域的灰度值，减弱明亮区域的灰度值，提高了图像的整体细节，公式为：

s＝cr^γ

其中，r为原始图像经归一化的灰度值；s为经过伽马变换后的灰度值；c为灰度缩放因子，通常取1；γ为伽马因子大小，控制了整个变换的缩放程度。当γ＞1时，图像灰度值整体下降；当γ＜1时，图像的灰度值将提高。

本发明中投射的结构光条纹为正弦条纹，对条纹图像进行对比度调节时，保持条纹的正弦性，避免在解算相位主值时产生较大误差而影响点云的质量。

具体实施方案三：点云信息三维重构

本发明采用的是，利用视差计算空间P点的深度信息。以左视图的像素坐标为基准，视差表示为u_l-u_r，而在图像物理坐标下的视差为x_l-x_r。空间某点P在两个摄像机C_l和C_r上的图像点已经过立体匹配方法检测得到，即投影点P_l、P_r为空间P点的同名点对，其像素坐标分别为(u_l,v_l)、(u_r,v_r)。同时，摄像机C_l和C_r经过标定，已知双目摄像机的所有参数，它们的投影矩阵分别为M₁和M₂。空间点的三维坐标(X,Y,Z)可以表示为公式:

其中，X、Y与Z为所求之空间点三维坐标。其光学原理是两条投影线于空间相交，相交点的三维信息可述公式:

求解得出。

P_l与P_r分别是空间中某一点P在左右像平面上的像点，x_l、x_r是图像像点物理横坐标，u_l和u_r是以O为起点的像素横坐标，定义点P到两光心连线0_l0_r的直距离为其深度值Z_c。

首先，利用视差计算空间P点的深度信息。以左视图的像素坐标为基准，视差表示为u_l-u_r，而在图像物理坐标下的视差为x_l-x_r。

图像像点P_l、P_r间的长度为b-(x_l-x_r)。b为基线，表示光心0_l到0_r的间距，相机焦距f依据三角相似原理得：

转换后的深度信息为：

根据图像像素与图像物理坐标的关系(u_l-u_lo)dx＝x_l、(u_r-u_ro)dx＝x_r，可得到公式：

x_l-x_r＝(u_l-u_r-u_l0+u_ro)dx

将该公式带入经过变换后，得到深度结果：

该公式中，像素视差d＝u_l-u_r，两摄像机在主点x方向上的差距s＝|u_lo-u_ro|。

P在摄像机坐标下的横坐标X_c与纵坐标Y_c符合成像投影理论，摄像机与图像坐标之间关系为：

简化后得到X_c与Y_c的公式为：

经过上述推导过程得到空间信息的计算方法，代入数据获取图像中每个点的准确三维坐标；在空间坐标中标出点云，即可得到拍摄目标的立体景象。

利用PCL库创建操作对象；设置内存空间输入初始点云数据，进行模块处理；调制算法的内在参数；运行不同算法实现相应的功能完成最终重建。

本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims

1.一种基于条纹图像增强的结构光三维重建方法，其特征在于，包括：

A、搭建三维结构光重建系统，所述三维重建系统包括两台工业相机、一台高精度投影仪，一台计算机；

B、根据相机的参数，对相机进行标定，并获得相机的内外参数，对相机进行畸变校正；

C、利用投影仪向物体投射所设计的编码结构光图案；

D、利用双目立体视觉系统的相机采集重建物体的左图像和右图像，并对图像进行立体校正；

E、引入具有周期性的相移法，与时间编码方法结合确定边界精度；

F、提出基于Retinex的图像增强算法，采用改进的双边滤波作为中心环绕函数对图像进行高光消除，并通过伽马变换进行对比度调节；

G、匹配左视图与右视图中的点，并获得左图像和右图像上的对应匹配点关于物体上点P的视差；

H、结合相机的内外参数，利用视差原理得到物体上各点的三维空间坐标；

I、根据物体上多点的三维空间坐标生成物体稀疏的点云图，完成物体三维重建。

2.根据权利要求1所述的基于结构光的三维重建及条纹图像增强方法，其特征在于，所述步骤B包括：

(1)先对左相机进行标定，得到左相机的内外参数，外参数包括一个旋转矩阵和一个平移矩阵；

(2)左相机和右相机的内参数和旋转矩阵相同，右相机的平移矩阵由左相机的平移矩阵和两个相机的距离得到，从而得到右相机的内外参数。

3.根据权利要求1所述的基于结构光的三维重建及条纹图像增强方法，其特征在于，所述步骤C包括：

(1)向研究对象的表面投射设计的结构光编码图案，利用相机拍摄图像；

(2)通过计算机根据解码原理求出待测对象表面变形编码图案的解码值，然后利用结构光的基本原理，求出目标上相应的三维坐标。

4.根据权利要求1所述的基于结构光的三维重建及条纹图像增强方法，其特征在于，所述步骤F包括：

(1)通过消除入射分量对反射分量的影响，实现图像增强：

I(x,y)＝R(x,y)·L(x,y)

式中，I表示人眼所观察到的原始图像信息，R为反射分量，L为入射分量，(x,y)为图像中任意某点的像素。

(2)使用改进的高斯环绕函数对图像进行滤波：

(3)对图像中的像素进行卷积，用模板确定的邻域内像素的加权平均灰度值，代替模板中心像素点的灰度值，完成滤波；

(4)计算滤波模板内中心点像素与其他位置像素差值Δ，设定滤波模板内中心点像素与其他位置像素差值的平均值为值域核阈值T，改进灰度核函数：

5.根据权利要求1所述的基于结构光的三维重建及条纹图像增强方法，其特征在于，所述步骤G包括：

(1)在每个通道的两个视图中，首先根据点的线识别号进行匹配，然后将具有相同行标识号的点按其行识别号进行匹配，由此将两个视图中的聚类点进行匹配；

(2)得到左图像和右图像的匹配角点像素坐标，即左图像某角点l(x^l，y^l)和右图像某角点r(x^r，y^r)；

(3)由于已经对图像进行立体校正，实现行对准，所以点l和点r的y轴坐标相同，左图像和右图像上的对应匹配点关于物体上点P的视差可直接表示为d＝x^l-x^r。

6.根据权利要求1所述的基于结构光的三维重建及条纹图像增强方法，其特征在于，所述步骤H包括：

(1)利用区域匹配算法计算匹配点，通过坐标系之间的关联进行重建；

(2)根据两个相机的中心点距离和匹配点对，通过相似三角形确定空间点的三维坐标：

P＝(A^TA)^-1A^Tb。