CN112002016B - 基于双目视觉的连续曲面重建方法、系统和装置 - Google Patents

Abstract

本发明属于机器视觉领域，具体涉及了一种涉及了一种基于双目视觉的连续曲面重建方法、系统和装置，旨在解决现有的三维测量技术感知距离短、易受光环境干扰、依赖特征点匹配、无法适用于无显著角点特征的物体和测量获得点云数量与图像像素数量比较小的问题。本发明包括：标定左右相机参数并建立对极约束矩阵，划定感兴趣区域并在感兴趣区域中建立分段线性函数描述空间构型，计算左右相机图像对应点的坐标，再通计算对应点的光度差分，依据光度差分更新分段线性函数，通过最优分段线性函数计算图像中像素的空间坐标。本发明实现了不依赖先验信息不用提取特征点的步骤就可以实现高精度连续曲面稠密重建。

Description

基于双目视觉的连续曲面重建方法、系统和装置

技术领域

本发明属于机器视觉领域，具体涉及了一种基于双目视觉的连续曲面重建方法、系统和装置。

背景技术

基于视觉的三维测量技术是三维重建的基础，具有广泛的应用需求，包括工业测量、移动机器人环境感知、测绘等。

视觉的三维测量技术的核心是利用视觉传感数据确定观测对象的空间坐标，一般以记录多个空间点三维坐标的点云作为输出的数据格式。基于视觉的点云测量方法主要包括主动立体视觉和被动立体视觉两大类。主动立体视觉系统向物体表面投射可见光或红外线结构光，通过三角测量原理获取点云，具有点云稠密、测量精准等优点，但也存在感知距离短、易受环境光干扰等缺点。被动立体视觉系统由两台以上的相机构成，通过在不同相机图像中建立特征点的匹配关系解算特征点的空间坐标，具有无需主动光源、适应性较强，测量范围大等优点。但由于依赖特征点匹配，无法适用于无显著角点特征的物体，且即使对于特征点较丰富的物体，测量获得的点云也是稀疏的，即空间点云中点的数量与图像像素数量的比值很小。

对于以双目视觉为代表的被动立体视觉系统，如果可以不依赖特征点，而是直接建立图像间各像素间的对应关系，将可以有效回避点云稀疏问题并可实现对缺乏角点特征的各种物体的测量。虽然单个图像像素所提供的灰度或色彩信息不足以提供可靠的匹配依据，但由物体的连续表面成像所形成的彼此相邻的多个像素作为一个整体进行匹配是高度可靠且精准的。建立可操作的非线性数学模型，描述连续曲面在不同成像视角下，像素集间的对应关系，是实现上述匹配过程可计算的前提。

发明内容

为了解决现有技术中的上述问题，即现有的三维测量技术感知距离短、易受光环境干扰、依赖特征点匹配、无法适用于无显著角点特征的物体和测量获得点云数量与图像像素数量比较小的问题，本发明提供了一种基于双目视觉的连续曲面重建方法，所述方法包括：

步骤S10，以左相机为基准建立空间坐标系，标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l；

步骤S20，基于所述左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，构建对极约束矩阵E；

步骤S30，通过双目相机获取测量对象图像，使测量对象处于左相机和右相机的重叠视野区域，并在左相机图像中选取包含所述测量对象图像的感兴趣区域R；

步骤S40，基于所述感兴趣区域R，选取其中第v_l行构造描述物体空间构型的分段线性函数f(u_i)：

其中，i为像素序号，b₁,k_i为待定参数，k_i中的i＝2,…,N-1，j为小于i当前取值并且大于或等于2的整数，k₁为当i＝1时的待定参数，所有的待定参数在迭代步骤中更新；

初始化各待定参数，其中⁰b₁＝1,⁰k₁＝1,⁰k_i＝0,k_i中的i＝2,…,N-1；

步骤S50，基于左相机图像坐标，通过所述分段线性函数f(u_i)和所述对极约束矩阵E，逐点计算第v_l行左相机图像在右相机图像中的对应点坐标；

步骤S60，基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(u_i)，逐点计算每组对应点的光度差分^sG_i；

步骤S70，基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，重复步骤S50-步骤S70直至满足第一终止条件获得最优曲线方程f’(u_i)；

所述第一终止条件为：

max(|^s+1k₁-^sk₁|，…，|^s+1k_i-^sk_i|,|^s+1b-^sb|)＜T

其中，T为预设的阈值，s和s+1表示迭代次数，^sk₁表示第s次迭代的所述分段线性函数f(u_i)中的待定参数k₁，^sk_i是第s次迭代的所述分段线性函数f(u_i)中的待定参数k_i，k_i中的i＝2,3，…，N-1；^sb表示第s次迭代的所述分段线性函数f(u_i)中的待定参数b₁；

步骤S80，基于所述最优曲线方程f’(u_i)计算所述感兴趣区域R中每个点对应的空间坐标；

选取感兴趣区域R中另一行重复步骤S40-步骤S80，直至计算完感兴趣区域R每行对应的空间坐标点，获得重建的曲面。

进一步地，所述左相机内参数矩阵M_inl为：

所述右相机内参数矩阵M_inr为：

所述右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l为：

进一步地，步骤S20包括：

步骤S21，计算所述左相机内参数矩阵M_inl的逆矩阵M_inl ^-1：

步骤S22，构建对极约束矩阵E为：

进一步地，步骤S50包括：

步骤S51，从左相机图像第v_l行第一个像素开始，选取左相机图像中的坐标为(u_i，v_l)的点，设在右相机图像中对应的点坐标为(u_ri，v_ri)；其中，u_ri和v_ri的计算方法为：

其中，^sf(u_i)表示第s次迭代的描述物体空间构型的分段线性函数；

步骤S52，在左相机图像第v_l行上右移一个像素重复步骤S51计算右相机图像的对应点坐标，直至完成左相机图像第v_l行全部点的对应点坐标计算。

进一步地，步骤S60包括：

步骤S61，基于左相机图像中的像素和在右相机图像中对应位置的像素，计算左相机和右相机对应点像素的光度差^sE_i：

^sE_i＝|g_l(u_i，v_l)-g_r(u_ri，v_ri)|

其中，g_l(x，y)为左相机图像中坐标为(x，y)的像素值，g_r(x，y)是右相机图像中坐标为(x，y)的像素值；如果图像是灰度图像则|*|表示光度差^sE_i取灰度差*的绝对值，如果是RGB图像|*|表示取各通道差值的绝对值再求和；

步骤S62，基于左相机图像坐标(u_i，v_l)、右相机图像中对应点的坐标(u_ri，v_ri)和所述对极约束矩阵E，计算和/>

其中，f(u_i)为描述物体空间构型的分段线性函数；

步骤S63，基于所述光度差、和左相机图像像素坐标及其在右相机图像中的对应点坐标的像素，计算光度差分/>

其中，s表示迭代的次数。

进一步地，所述基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，其方法为：

其中，μ₁,μ₂,μ₃是调节步长，s和s+1表示迭代次数。

进一步地，所述标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，采用的标定方法包括张氏标定法，利用的工具函数包括openCV和Matlab提供的工具函数。

进一步地，所述感兴趣区域R的形状包括M行N列的矩形。

进一步地，所述基于所述最优曲线方程f’(u_i)计算所述感兴趣区域R中每个点对应的空间坐标，其方法包括：

像素坐标为(u_i，v_l)对应的空间坐标为(x_i，y_i，z_i)：

本发明的另一方面，提出了一种基于双目视觉的连续曲面重建系统，所述系统包括：相机标定模块、感兴趣区域选取模块、分段线性函数构造模块、对应点图像坐标计算模块、光度差分计算模块、线性函数参数更新模块和空间坐标计算模块；

所述相机标定模块，用于以左相机为基准建立空间坐标系，标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l；

所述对极约束矩阵构件模块，用于基于所述左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，构建对极约束矩阵E；

所述感兴趣区域选取模块，用于通过双目相机获取测量对象图像，使测量对象处于左相机和右相机的重叠视野区域，并在左相机图像中选取包含所述测量对象图像的感兴趣区域R；

所述分段线性函数构造模块，用于基于所述感兴趣区域R，选取其中第v_l行构造描述物体空间构型的分段线性函数f(u_i)：

其中，i为像素序号，b₁,k_i为待定参数，k_i中的i＝2,…,N-1，j为小于i当前取值并且大于或等于2的整数，k₁为当i＝1时的待定参数，所有的待定参数在迭代步骤中更新；

初始化各待定参数，其中⁰b₁＝1,⁰k₁＝1,⁰k_i＝0,k_i中的i＝2,…,N-1；

所述对应点坐标计算模块，用于基于左相机图像坐标，通过所述分段线性函数f(u_i)和所述对极约束矩阵E，逐点计算第v_l行左相机图像在右相机图像中的对应点坐标；

所述光度差分计算模块，用于基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(u_i)，逐点计算每组对应点的光度差分^sG_i；

所述线性函数更新模块，用于基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，重复进行对应点坐标计算模块-线性函数更新模块的功能直至满足第一终止条件获得最优曲线方程f’(u_i)；

所述第一终止条件为：

max(|^s+1k₁-^sk₁|，…，|^s+1k_i-^sk_i|,|^s+1b-^sb|)＜T

其中，T为预设的阈值，s和s+1表示迭代次数，^sk₁表示第s次迭代的所述分段线性函数f(u_i)中的待定参数k₁，^sk_i是第s次迭代的所述分段线性函数f(u_i)中的待定参数k_i，k_i中的i＝2,3，…，N-1；

^sb表示第s次迭代的所述分段线性函数f(u_i)中的待定参数b₁；

所述空间坐标计算模块，用于基于所述最优曲线方程f’(u_i)计算所述感兴趣区域R中每个点对应的空间坐标；

选取感兴趣区域R中另一行重复分段线性函数构造模块-空间坐标计算模块，直至计算完感兴趣区域R每行对应的空间坐标点，获得重建的曲面。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于双目视觉的连续曲面重建方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于双目视觉的连续曲面重建方法。

本发明的有益效果：

(1)本发明基于双目视觉的连续曲面重建方法，依据物体的连续表面成像形成的彼此相邻的多个像素作为一个整体进行匹配，建立非线性数学模型描述像素集间的对应关系，可以在没有关于重建对象先验信息的前提下还原出各种连续的曲面物体的空间构型，而且精度较高。

(2)本发明基于双目视觉的连续曲面重建方法，依据双目图像采集，行曲线连续分段线性函数建模，并基于双目图像像素值的参数迭代优化，由行曲线拼接得到完整曲面，可以完全不需要图像特征提取的常规步骤，并具有曲面稠密测量的特点，提高了对于无显著角点特征的物体的重建精度。

(3)本发明基于双目视觉的连续曲面重建方法，避开了现有技术的特征提取和曲面稠密测量的步骤，具有操作简单、运算速度快和精度较高的特点。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于双目视觉的连续曲面重建方法第一实施例的流程示意图；

图2是本发明基于双目视觉的连续曲面重建方法第一实施例的左相机采集图像；

图3是本发明基于双目视觉的连续曲面重建方法第一实施例的右相机采集图像；

图4是本发明基于双目视觉的连续曲面重建方法第一实施例的曲面重建点云左相机视角；

图5是本发明基于双目视觉的连续曲面重建方法第一实施例的曲面重建点云右相机视角。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于双目视觉的连续曲面重建方法，本方法包括步骤S10-步骤S80；

步骤S10，以左相机为基准建立空间坐标系，标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l；

步骤S20，基于所述左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，构建对极约束矩阵E；

步骤S30，通过双目相机获取测量对象图像，使测量对象处于左相机和右相机的重叠视野区域，并在左相机图像中选取包含所述测量对象图像的感兴趣区域R；

步骤S40，基于所述感兴趣区域R，选取其中第v_l行构造描述物体空间构型的分段线性函数f(u_i)如公式(1)所示：

其中，i为像素序号，b₁,k_i为待定参数，k_i中的i＝2,…,N-1，j为小于i当前取值并且大于或等于2的整数，k₁为当i＝1时的待定参数，所有的待定参数在迭代步骤中更新；初始化各待定参数，其中⁰b₁＝1,⁰k₁＝1,⁰k_i＝0,k_i中的i＝2,…,N-1；

步骤S50，基于左相机图像坐标，通过所述分段线性函数f(u_i)和所述对极约束矩阵E，逐点计算第v_l行左相机图像在右相机图像中的对应点坐标；

步骤S60，基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(u_i)，逐点计算每组对应点的光度差分^sG_i；

步骤S70，基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，重复步骤S50-步骤S70直至满足第一终止条件获得最优曲线方程f’(u_i)；

所述第一终止条件如公式(2)所示：

max(|^s+1k₁-^sk₁|，…，|^s+1k_i-^sk_i|,|^s+1b-^sb|)＜T (2)

其中，T为预设的阈值，s和s+1表示迭代次数，^sk₁表示第s次迭代的所述分段线性函数f(u_i)中的待定参数k₁，^sk_i是第s次迭代的所述分段线性函数f(u_i)中的待定参数k_i，k_i中的i＝2,3，…，N-1；

^sb表示第s次迭代的所述分段线性函数f(u_i)中的待定参数b₁；

步骤S80，基于所述最优曲线方程f’(u_i)计算所述感兴趣区域R中每个点对应的空间坐标；

选取感兴趣区域R中另一行重复步骤S40-步骤S80，直至计算完感兴趣区域R每行对应的空间坐标点，获得重建的曲面。

为了更清晰地对本发明基于双目视觉的连续曲面重建方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于双目视觉的连续曲面重建方法，包括步骤S10-步骤S80，各步骤详细描述如下：

步骤S10，以左相机为基准建立空间坐标系，标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l；

所述左相机内参数矩阵M_inl如公式(3)所示：

所述右相机内参数矩阵M_inr如公式(4)所示：

所述右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l如公式(5)所示：

所述标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，采用的标定方法包括张氏标定法，利用的工具函数包括openCV和Matlab提供的工具函数；

采用其他任何满足本发明给出的标定后矩阵的方法进行标定或采用其他任何使用者自行开发的方法得出标定后如本发明提出的参数矩阵格式都应属于本发明要求保护的范围。

步骤S20，基于所述左相机内参数矩阵N_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，构建对极约束矩阵E；

在本实施例中，步骤S20包括：

步骤S21，计算所述左相机内参数矩阵N_inl的逆矩阵M_inl ^-1如公式(6)所示：

步骤S22，构建对极约束矩阵E如公式(7)所示：

步骤S30，通过双目相机获取测量对象图像，使测量对象处于左相机和右相机的重叠视野区域，并在左相机图像中选取包含所述测量对象图像的感兴趣区域R。

优选的，所述感兴趣区域R的形状包括M行N列的矩形；

步骤S40，基于所述感兴趣区域R，选取其中第v_l行构造描述物体空间构型的分段线性函数f(u_i)如公式(8)所示：

其中，i为像素序号，b₁,k_i为待定参数，k_i中的i＝2,…,N-1，j为小于i当前取值并且大于或等于2的整数，k₁为当i＝1时的待定参数，所有的待定参数在迭代步骤中更新；

j小于2时求和符号自动无效；

初始化各待定参数，其中⁰b₁＝1,⁰k₁＝1,⁰k_i＝0,k_i中的i＝2,…,N-1；

该分段线性函数的含义为，先定义每行中第1个点即i＝1时的空间构型如公式(8)上所示，是通过第2个点的横坐标u₂通常取值为2，乘以待定参数k₁加上待定参数b₁所得；后续的点即i＝2，3，…，N时的空间构型为第1个点加上第1个点至当前点间的每个相邻点组的待定参数k_j的总和，如公式(8)下；

现有的被动立体视觉系统依赖特征点匹配，无法适用于点云稀疏或无显著角点特征的物体；本发明通过采用如公式(8)的分段线性函数将连续表面成像所形成的彼此相邻的多个像素表示为一个整体进行匹配，克服了单个图像像素所提供的的灰度或彩色信息不足以提供可靠匹配依据的缺陷，使得直接建立图像各像素间的对应关系得以可靠且精准地实现，有效地回避了点云稀疏和缺乏角点特征的问题。

步骤S50，基于左相机图像坐标，通过所述分段线性函数f(u_i)和所述对极约束矩阵E，逐点计算第v_l行左相机图像在右相机图像中的对应点坐标；

在本实施例中，步骤S50包括：

步骤S51，从左相机图像第v_l行第一个像素开始，选取左相机图像中的坐标为(u_i，v_l)的点，设在右相机图像中对应的点坐标为(u_ri，v_ri)；其中，u_ri和v_ri的计算方法如公式(9)和公式(10)所示：

其中，^sf(u_i)表示迭代了s步描述物体空间构型的分段线性函数；

步骤S52，在左相机图像第v_l行上右移一个像素重复步骤S51计算右相机图像的对应点坐标，直至完成左相机图像第v_l行全部点的对应点坐标计算。

步骤S60，基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(u_i)，逐点计算每组对应点的光度差分^sG_i；

在本实施例中，步骤S60包括：

步骤S61，基于左相机图像中的像素和在右相机图像中对应位置的像素，计算左相机和右相机对应点像素的光度差^sE_i如公式(11)所示：

^sE_i＝|g_l(u_i，v_l)-g_r(u_ri，v_ri)| (11)

其中，g_l(x，y)为左相机图像中坐标为(x，y)的像素值，g_r(x，y)是右相机图像中坐标为(x，y)的像素值；如果图像是灰度图像则|*|表示光度差^sE_i取灰度差*的绝对值，如果是RGB图像|*|表示取各通道差值的绝对值再求和；

步骤S62，基于左相机图像坐标(u_i，v_l)、右相机图像中对应点的坐标(u_ri，v_ri)和所述对极约束矩阵E，计算和/>计算方法如公式(12)和公式(13)所示：

其中，f(u_i)为描述物体空间构型的分段线性函数；

步骤S63，基于所述光度差、和左相机图像像素坐标及其在右相机图像中的对应点坐标的像素，计算光度差分^sG_i如公式(14)所示：

其中，s表示迭代的次数。

在本实施例中，所述基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，其方法为如公式(15)、(16)和(17)所示：

其中，μ₁,μ₂,μ₃是调节步长，可根据实际情况灵活设定，s表示第s次迭代，s+1表示第s+1次迭代。

步骤S70，基于各组对应点的光度差分^sG_i调节所述描述物体空间构型的分段线性函数的参数值，重复步骤S50-步骤S70直至满足第一终止条件获得最优曲线方程f’(u_i)；

所述第一终止条件如公式(18)所示：

max(|^s+1k₁-^sk₁|，…，|^s+1k_i-^sk_i|,|^s+1b-^sb|)＜T (18)

其中，i＝1,2，…，N-1，T为预设的阈值，s和s+1表示迭代次数，^sk₁表示第s次迭代的所述分段线性函数f(u_i)中的待定参数k₁，^sk_i是第s次迭代的所述分段线性函数f(u_i)中的待定参数k_i，k_i中的i＝2,3，…，N-1；^sb表示第s次迭代的所述分段线性函数f(u_i)中的待定参数b₁；

步骤S80，基于所述最优曲线方程f’(u_i)计算所述感兴趣区像素坐标为(u_i，v_l)对应的空间坐标为(x_i，y_i，z_i)，如公式(19)所示：

选取感兴趣区域R中另一行重复步骤S40-步骤S80，直至计算完感兴趣区域R每行对应的空间坐标点，获得重建的曲面。

在本实施例中，获取的左相机图像如图2所示，获取的右相机图像如图3所示；通过本发明基于双目视觉的连续曲面重建方法不基于左相机和右相机图像不依赖任何先验信息重建的曲面图像在左相机视角如图4所示，在右相机视角如图5所示。

本发明第二实施例的基于双目视觉的连续曲面重建系统，所述系统包括：相机标定模块、感兴趣区域选取模块、分段线性函数构造模块、对应点坐标计算模块、光度差分计算模块、线性函数更新模块和空间坐标计算模块；

所述相机标定模块，用于以左相机为基准建立空间坐标系，标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l；

所述对极约束矩阵构件模块，用于基于所述左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，构建对极约束矩阵E；

所述感兴趣区域选取模块，用于通过双目相机获取测量对象图像，使测量对象处于左相机和右相机的重叠视野区域，并在左相机图像中选取包含所述测量对象图像的感兴趣区域R；

所述分段线性函数构造模块，用于基于所述感兴趣区域R，选取其中第v_l行构造描述物体空间构型的分段线性函数f(u_i)如公式(20)所示：

其中，i为像素序号，b₁,k_i为待定参数，k_i中的i＝2,…,N-1，j为小于i当前取值并且大于或等于2的整数，k₁为当i＝1时的待定参数，所有的待定参数在迭代步骤中更新；

初始化各待定参数，其中⁰b₁＝1,⁰k₁＝1,⁰k_i＝0,_i中的i＝2,…,N-1；

所述对应点坐标计算模块，用于基于左相机图像坐标，通过所述分段线性函数f(u_i)和所述对极约束矩阵E，逐点计算第v_l行左相机图像在右相机图像中的对应点坐标；

所述光度差分计算模块，用于基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(u_i)，逐点计算每组对应点的光度差分^sG_i；

所述线性函数更新模块，用于基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，重复进行对应点坐标计算模块-线性函数更新模块的功能直至满足第一终止条件获得最优曲线方程f’(u_i)；

所述第一终止条件如公式(21)所示：

其中，T为预设的阈值，s和s+1表示迭代次数，^sk₁表示第s次迭代的所述分段线性函数f(u_i)中的待定参数k₁，^sk_i是第s次迭代的所述分段线性函数f(u_i)中的待定参数k_i，k_i中的i＝2,3，…，N-1；^sb表示第s次迭代的所述分段线性函数f(u_i)中的待定参数b₁；

所述空间坐标计算模块，用于基于所述最优曲线方程f’(u_i)计算所述感兴趣区域R中每个点对应的空间坐标；

选取感兴趣区域R中另一行重复分段线性函数构造模块-空间坐标计算模块，直至计算完感兴趣区域R每行对应的空间坐标点，获得重建的曲面。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于双目视觉的连续曲面重建系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于双目视觉的连续曲面重建方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于双目视觉的连续曲面重建方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (12)

1.一种基于双目视觉的连续曲面重建方法，其特征在于，所述方法包括：

步骤S10，以左相机为基准建立空间坐标系，标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l；

步骤S20，基于所述左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，构建对极约束矩阵E；

步骤S30，通过双目相机获取测量对象图像，使测量对象处于左相机和右相机的重叠视野区域，并在左相机图像中选取包含所述测量对象图像的感兴趣区域R；

步骤S40，基于所述感兴趣区域R，选取其中第v_l行构造描述物体空间构型的分段线性函数f(u_i)：

其中，i为像素序号，b₁,k_i为待定参数，k_i中的i＝2,…,N-1，j为小于i当前取值并且大于或等于2的整数，k₁为当i＝1时的待定参数，所有的待定参数在迭代步骤中更新；初始化各待定参数，其中⁰b₁＝1,⁰k₁＝1,⁰k_i＝0,i＝2,…,N-1；j小于2时求和符号自动无效；步骤S50，基于左相机图像坐标，通过所述分段线性函数f(u_i)和所述对极约束矩阵E，逐点计算第v_l行左相机图像在右相机图像中的对应点坐标；

步骤S60，基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(u_i)，逐点计算每组对应点的光度差分^sG_i；

步骤S70，基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，重复步骤S50-步骤S70直至满足第一终止条件获得最优曲线方程f’(u_i)；

所述第一终止条件为：

max(|^s+1k₁-^sk₁|，…，|^s+1k_i-^sk_i|,|^s+1b-^sb|)<T

其中，T为预设的阈值，s和s+1表示迭代次数，^sk₁表示第s次迭代的所述分段线性函数f(u_i)中的待定参数k₁，^sk_i是第s次迭代的所述分段线性函数f(u_i)中的待定参数k_i，k_i中的i＝2,3，…，N-1；^sb表示第s次迭代的所述分段线性函数f(u_i)中的待定参数b₁；

步骤S80，基于所述最优曲线方程f’(u_i)计算所述感兴趣区域R中每个点对应的空间坐标；

选取感兴趣区域R中另一行重复步骤S40-步骤S80，直至计算完感兴趣区域R每行对应的空间坐标点，获得重建的曲面。

2.根据权利要求1所述的基于双目视觉的连续曲面重建方法，其特征在于，所述左相机内参数矩阵M_inl为：

所述右相机内参数矩阵M_inr为：

所述右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l为：

3.根据权利要求2所述的基于双目视觉的连续曲面重建方法，其特征在于，步骤S20包括：

步骤S21，计算所述左相机内参数矩阵M_inl的逆矩阵M_inl ^-1：

步骤S22，构建对极约束矩阵E：

4.根据权利要求3所述的基于双目视觉的连续曲面重建方法，其特征在于，步骤S50包括：

步骤S51，从左相机图像第v_l行第一个像素开始，选取左相机图像中的坐标为(u_i，v_l)的点，设在右相机图像中对应的点坐标为(u_ri，v_ri)；其中，u_ri和v_ri的计算方法为：

其中，^sf(u_i)表示第s次迭代的描述物体空间构型的分段线性函数；

步骤S52，在左相机图像第v_l行上右移一个像素重复步骤S51计算右相机图像的对应点坐标，直至完成左相机图像第v_l行全部点的对应点坐标计算。

5.根据权利要求4所述的基于双目视觉的连续曲面重建方法，其特征在于，步骤S60包括：

步骤S61，基于左相机图像中的像素和在右相机图像中对应位置的像素，计算左相机和右相机对应点像素的光度差^sL_i：

^sL_i＝|g_l(u_i，v_l)-g_r(u_ri，v_ri)|

其中，g_l(x，y)为左相机图像中坐标为(x，y)的像素值，g_r(x，y)是右相机图像中坐标为(x，y)的像素值；如果图像是灰度图像则|*|表示光度差^sE_i取灰度差*的绝对值，如果是RGB图像|*|表示取各通道差值的绝对值再求和；

步骤S62，基于左相机图像坐标(u_i，v_l)、右相机图像中对应点的坐标(u_ri，v_ri)和所述对极约束矩阵E，计算和/>

其中，f(u_i)为描述物体空间构型的分段线性函数；

步骤S63，基于所述光度差、和左相机图像像素坐标及其在右相机图像中的对应点坐标的像素，计算光度差分^SG_i：

其中，s表示迭代的次数。

6.根据权利要求1所述的基于双目视觉的连续曲面重建方法，其特征在于，所述基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，其方法为：

其中，μ₁,μ₂,μ₃是调节步长，s和s+1表示迭代次数。

7.根据权利要求1所述的基于双目视觉的连续曲面重建方法，其特征在于，所述标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，采用的标定方法包括张氏标定法，利用的工具函数包括openCV和Matlab提供的工具函数。

8.根据权利要求1所述的基于双目视觉的连续曲面重建方法，其特征在于，所述感兴趣区域R的形状包括M行N列的矩形。

9.根据权利要求3所述的基于双目视觉的连续曲面重建方法，其特征在于，所述基于所述最优曲线方程f’(u_i)计算所述感兴趣区域R中每个点对应的空间坐标，其方法包括：

像素坐标为(u_i，v_l)对应的空间坐标为(x_i，y_i，z_i)：

10.一种基于双目视觉的连续曲面重建系统，其特征在于，所述系统包括：相机标定模块、对极约束矩阵构件模块、感兴趣区域选取模块、分段线性函数构造模块、对应点图像坐标计算模块、光度差分计算模块、函数参数更新模块和空间坐标计算模块；

所述相机标定模块，用于以左相机为基准建立空间坐标系，标定左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l；

所述对极约束矩阵构件模块，用于基于所述左相机内参数矩阵M_inl、右相机内参数矩阵M_inr和右相机在左相机拍摄图像坐标中的位姿矩阵^rT_l，构建对极约束矩阵E；

所述感兴趣区域选取模块，用于通过双目相机获取测量对象图像，使测量对象处于左相机和右相机的重叠视野区域，并在左相机图像中选取包含所述测量对象图像的感兴趣区域R；

所述分段线性函数构造模块，用于基于所述感兴趣区域R，选取其中第v_l行构造描述物体空间构型的分段线性函数f(u_i)：

其中，i为像素序号，b₁,k_i为待定参数，k_i中的i＝2,…,N-1，j为小于i当前取值并且大于或等于2的整数，k₁为当i＝1时的待定参数，所有的待定参数在迭代步骤中更新；

初始化各待定参数，其中⁰b₁＝1,⁰k₁＝1,⁰k_i＝0,k_i中的i＝2,…,N-1；j小于2时求和符号自动无效；

所述对应点图像坐标计算模块，用于基于左相机图像坐标，通过所述分段线性函数f(u_i)和所述对极约束矩阵E，逐点计算第v_l行左相机图像在右相机图像中的对应点坐标；

所述光度差分计算模块，用于基于所述左相机图像坐标和在右相机图像中的对应点坐标、对极约束矩阵E和所述分段线性函数f(u_i)，逐点计算每组对应点的光度差分^sG_i；

所述函数参数更新模块，用于基于每组对应点的光度差分^sG_i调节所述分段线性函数的参数值，重复进行对应点坐标计算模块-线性函数更新模块的功能直至满足第一终止条件获得最优曲线方程f’(u_i)；

所述第一终止条件为：

max(|^s+1k₁-^sk₁|，…，|^s+1k_i-^sk_i|，|^s+1b-^sb|)<T

其中，T为预设的阈值，s和s+1表示迭代次数，^sk₁表示第s次迭代的所述分段线性函数f(u_i)中的待定参数k₁，^sk_i是第s次迭代的所述分段线性函数f(u_i)中的待定参数k_i，k_i中的i＝2,3，…，N-1；^sb表示第s次迭代的所述分段线性函数f(u_i)中的待定参数b₁；

所述空间坐标计算模块，用于基于所述最优曲线方程f’(u_i)计算所述感兴趣区域R中每个点对应的空间坐标；

选取感兴趣区域R中另一行重复分段线性函数构造模块-空间坐标计算模块，直至计算完感兴趣区域R每行对应的空间坐标点，获得重建的曲面。

11.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-9任一项所述的基于双目视觉的连续曲面重建方法。

12.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-9任一项所述的基于双目视觉的连续曲面重建方法。