CN110322572B - 一种基于双目视觉的水下涵隧内壁三维信息恢复方法 - Google Patents

Abstract

本发明公开了一种基于双目立体视觉的水下涵隧内壁三维信息恢复方法，获取涵隧内壁原始左右目图像，对获取的涵隧内壁原始左右目图像进行极线校正；分别对得到的校正左目图像和校正右目图像进行各向异性扩散，得到滤波左目图像和滤波右目图像；利用灰度梯度共生矩阵直接提取参考图像的纹理特征，并利用FCM聚类方法将参考图像划分为强纹理图像和弱纹理图像两类；对得到的滤波左目图像和滤波右目图像进行纹理特征约束的匹配代价计算；采用加权水平树结构和基于动态规划的能量优化进行代价聚集；进行视差计算和视差精化处理，获取最终的涵隧内壁视差图。本发明能够提高水下涵隧内壁的立体匹配的精度，获得更加精确的涵隧内壁视差图和三维坐标信息。

Description

一种基于双目视觉的水下涵隧内壁三维信息恢复方法

技术领域

本发明属于计算机视觉和图像处理技术领域，涉及水下涵隧内壁三维信息恢复方法。

背景技术

引水隧洞是南水北调工程的重要组成部分，该隧洞可为水电站发电输送可靠的发电用水。由于水流速度快，水力条件复杂，衬砌质量缺陷，围岩弹性模量高等因素，并且受到施工期和运行期混凝土温度应力的影响，水下涵隧洞出现裂缝是常见的现象，裂缝产生的渗漏、涌水会直接威胁到衬砌的安全，甚至造成隧洞断裂垮塌，管路沉降等事故。一般情况下，要对隧洞进行检修，易受到时间和设备的限制，需要将隧洞内的积水排空，而隧洞环境恶劣，长度较长，多起伏，人工检测费时费力，成本颇高，且存在一定危险性。因此，为保证隧洞引水工程的安全运行，应对涵隧内壁进行智能检测，采用双目立体视觉的方法，在内壁上获取不同角度的图像，通过立体匹配的算法，获取完整的涵隧内壁三维数据信息，为隧洞的安全和效率提供可靠保证，也为以后国内水下隧洞的高效快速检测提供了一个全新的高效解决方案。

立体匹配是计算机视觉和图像处理中的一个热点问题，也是一个关键性问题，它根据同一场景的两幅图像中已有的数据寻求真实世界中物体上的某一点在左右视图上的对应点，获取图像中的三维信息。而在真实世界中的物体在摄像机成像时会因为光照变化、物体相互遮挡、成像噪声、镜头畸变等因素而发生相应的亮度变化，如何克服这些外界干扰因素，在短时间内获得高精度的匹配结果，国内外的研究人员已经提出了大量的立体匹配方法。这些算法按照约束条件可以分为局部算法和全局算法，局部算法依靠匹配点周围的约束信息在纹理丰富的区域能够快速获取高质量的视差图，但是对于遮挡区域、弱纹理区域、视差不连续区域处理效果欠佳。全局算法通过构建全局约束，大多能够获取高质量的视差图，但是算法参数过多、运算时间过长是其明显的弊端，而且现有的许多立体匹配算法在应用于水下目标图像时，由于能见度差和水下光线的复杂性，导致算法的性能较差，因此针对水下涵隧内壁立体匹配算法的研究具有很大的应用价值。

发明内容

本发明所要解决的技术问题是：获得更加精确的水下涵隧洞内壁视差图和三维信息，为涵隧洞的安全运行提供可靠保证。

为解决上述技术问题，本发明提供一种基于双目立体视觉的水下涵隧内壁三维信息恢复方法，包括以下步骤：

步骤1：获取涵隧内壁原始左右目图像，对双目摄像机进行标定，得到相机的内外参数，并通过相机内外参数对获取的涵隧内壁原始左右目图像进行极线校正，得到校正左目图像I_L和校正右目图像I_R；

步骤2：分别对步骤1得到的校正左目图像I_L和校正右目图像I_R进行各向异性扩散，得到滤波左目图像I_FL和滤波右目图像I_FR；所述各向异性扩散是一种支持区域内平滑的方法，用于在保留图像边缘的情况下平滑图像中的噪声；

步骤3：利用灰度梯度共生矩阵直接提取参考图像的纹理特征，并利用FCM聚类方法将每一帧参考图像划分为强纹理图像和弱纹理图像两类，所述参考图像指的是原始左目图像；

步骤4：对步骤2得到的滤波左目图像I_FL和滤波右目图像I_FR进行纹理特征约束的匹配代价计算；

步骤5：采用加权水平树结构和基于动态规划(DP)的能量优化进行代价聚集；

步骤6：进行视差计算和视差精化处理，获取最终的涵隧内壁视差图；

步骤7：根据得到的视差图，采用二维图像和三维空间的坐标转换，得到涵隧内壁的三维数据信息。

本发明所达到的有益效果：本发明提供了一种基于双目立体视觉的水下涵隧内壁三维信息恢复方法。首先，在RGB三个通道上分别进行各向异性扩散，各向异性扩散滤波在保留图像边缘的同时可以平滑噪声，减少由于水下干扰因素造成的图像质量较差的问题；然后，在匹配代价计算的过程中，利用灰度梯度共生矩阵直接提取参考图像的纹理特征，采用模糊c-均值聚类(FCM)方法，判断图像属于强纹理或弱纹理图像，从而确定相应的像素调整程度；在此基础上，将像素调整引入梯度差，使水下涵隧内壁低纹理区域中的匹配精度可以得到提高；在代价聚集部分，本发明利用局部方法中的支撑权重和全局优化方法中的平滑约束，将支撑权重与输入图像的颜色信息和置信度图相关联，可以在加权DP水平传递期间改善平滑约束函数，能够较好地聚集代价值。置信度图不仅可以用于约束加权的DP传递，还用于弥补后处理中左右一致性检测算法的局限性；最后，进行视差计算和视差精化，用于获取水下涵隧内壁的稠密的视差图。本发明提出的方法可以有效地提升计算的速度，提高了针对水下涵隧内壁的立体匹配的精度，能够获得更加精确的涵隧内壁视差图和三维信息。

附图说明

图1是本发明的基于双目立体视觉的水下涵隧内壁三维信息恢复方法的流程图；

图2是水平树结构的示例图；

图3是平滑惩罚函数S(d_p,d_q)的视差不连续模型示意图；

图4是平行光轴模型下的测量模型示意图。

具体实施方式

有关本发明的详细内容和技术方案，下面结合附图作更进一步的说明。

本发明所描述的一种基于双目立体视觉的水下涵隧内壁三维信息恢复方法，具体步骤如下：

步骤1：用双目相机采集涵隧内壁原始左目图像I_OL和原始右目图像I_OR，利用张氏标定法对双目摄像机进行标定，得到相机的内外参数，通过相机内外参数对涵隧内壁原始左右目图像进行极线校正，得到校正左目图像I_L和校正右目图像I_R；

本发明采用张氏标定法对双目摄像机进行标定，标定是从世界坐标系转换到图像坐标系的过程，最终得到的投影矩阵即为相机的内外参数，下式为世界坐标系下点P的坐标(X_w,Y_w,Z_w)和它的图像坐标系投影点p(u,v)间的转化关系式：

其中，s为比例因子，α_x、α_y为x轴和y轴方向的焦距，(u₀,v₀)表示图像中心，R为摄像机相对于世界坐标系的旋转矩阵，t为相机间的平移量，M是一个3*3的投影矩阵，其中，α_x,α_y,u₀,v₀为内参数，R，t为相机外参数；0^T＝[0,0,0]，矩阵

矩阵

dx、dy分别为单个像素在X,Y轴上的物理尺寸大小；

利用张氏标定法得到每个摄像机的内外参数，由于相机产生径向畸变，因此要根据相机的内外参数进一步对涵隧内壁左右目图像进行图像校正，径向畸变的数学模型为：

其中，(u,v)为理想像素坐标，

为畸变后像素坐标，(u₀,v₀)表示图像中心，(x,y)表示理想连续图像坐标，

表示畸变后连续图像坐标，k₁、k₂分别为畸变参数一和畸变参数二；

上式可转化为矩阵形式：

通过线性最小二乘法得到畸变参数一k₁、畸变参数二k₂，具体方法为：在标定过程中有n幅图像，获取n组(4)式的方程组，表示为矩阵形式Dk＝d，其中k＝[k₁,k₂]^T，D为n组

合并的矩阵，为2n*2大小，d为n组

合并的矩阵，为2n*1大小，对Dk＝d利用最小二乘法求解得出k＝(D^TD)^-1D^Td，再根据下式将畸变涵隧内壁左右目图像进行校正：

校正之后，使涵隧内壁的左右目视图对应的极线在同一扫描线上，校正后的左右目图像分别为校正左目图像I_L和校正右目图像I_R。

步骤2：将步骤1得到的校正左目图像I_L和校正右目图像I_R在RGB三个通道中分别进行各向异性扩散；得到滤波左目图像I_FL和滤波右目图像I_FR；各向异性扩散是一种支持区域内平滑的方法，克服了高斯模糊的缺陷，在保留图像边缘的同时可以平滑图像；将校正左目图像I_L和校正右目图像I_R的校正图像I(u,v)作为输入，应用下列扩散方程进行迭代：

其中，λ控制扩散的速度，取值范围应在0≤λ≤1/4内，以保持数值的稳定性，本发明中取λ＝0.2，Iⁱ(u,v)为通道i下的图像，I_t ⁱ(u,v)为第t次迭代时i通道下像素(u,v)的像素值，下标U、D、L、R分别表示传导系数h在上、下、左、右四个作用方向，符号

表示相邻像素之间的差异，

的定义如下式所示：

传导系数h根据式(8)在每次迭代时进行更新：

其中，α1为常数一，本发明中取α＝0.1，

分别表示t时刻像素(u,v)在方向上、下、左、右的传导系数。当相邻像素之间存在较大差异时，例如在高对比度的边界处，传导系数较小，因此，边界两侧的像素将彼此共享最少的信息，并且在扩散之后边界将保持基本不变，所以各向异性滤波的效果是在抑制背景噪声的同时保留了真实的边缘信息。

步骤3：用灰度梯度共生矩阵直接提取参考图像的纹理特性，并利用FCM聚类方法将参考图像划分为强纹理和弱纹理两类，所述参考图像指原始左目图像I_OL。

灰度梯度共生矩阵准确地描述了图像每个像素的灰度和梯度分布，还提供了每个像素与其相邻像素之间的空间关系，所以，灰度梯度共生矩阵可以很好地描绘图像的纹理特征。

具体步骤为：

首先，对原始左目图像I_OL的灰度图像G和梯度图像F分别进行归一化处理，所述灰度图像是原彩色图像进行灰度化得到的，所述梯度图像是通过灰度图像中每个像素点减去上一个像素点的值得到的；

G′(p)＝INT(G(p)×N_g/g_m)+1 (9)

F′(p)＝INT(F(p)×N_f/f_m)+1 (10)

其中，G'(p)和F'(p)分别是标准化灰度和梯度图像，符号INT表示舍入操作，g_m和f_m分别是原始图像中最大的梯度值和最大的灰度值，N_f和N_g分别是归一后的最大梯度值和最大灰度值，本文中取N_g＝N_f＝64；

统计归一化后的灰度图像G'(p)和梯度图像F'(p)中同时满足G′(p)＝i和F′(p)＝j的像点对数，得到共生矩阵C_o的第(i,j)个元素的值C_ij，相应的概率函数P(i,j)可以表示为：

然后，选取基于灰度梯度共生矩阵的五个纹理参数来描述原始左目图像的纹理特征，分别是：小梯度优势(T₁)、大梯度优势(T₂)、梯度均值(T₃)、梯度标准差(T₄)和梯度熵(T₅)，

在提取参考图像的纹理特征后，使用FCM方法(模糊C均值聚类方法)将原始左目图像I_OL进行聚类，确定原始左目图像I_OL是属于强纹理图像还是弱纹理图像，从而可以确定相对应的像素调整程度。

步骤4：将步骤2得到的滤波左目图像I_FL和滤波右目图像I_FR进行纹理特征约束的匹配代价计算。

假设C(p,d)是像素p在视差值为d时的代价值，代价值函数表示为：

C(p,d)＝αmin(C_AD(p,d),τ_c)+(1-α)·min(Π·C_Grad(p,d),τ_g) (17)

其中，由于蓝绿光在水中的吸收衰减系数最小，穿透能力最强，红光在水中的衰减很大，在水下无法使用，因此C_AD(p,d)表示仅在G、B两个通道下得到的基于色彩信息的绝对差AD(Absolute Difference)，即颜色匹配代价，C_Grad(p,d)是梯度图上的绝对差，即梯度匹配代价，τ_c和τ_g分别为截断值一和截断值二，用于抑制异常值的影响；α为参数二，用于平衡两个代价；Π是像素调整程度参数，Π_h为强纹理图像像素调整程度参数，Π_h＝0.8；Π_l为低纹理图像像素调整程度参数，Π_l＝2，颜色匹配代价函数和梯度匹配代价函数分别表示为：

其中，

和

分别表示通道i下滤波左目图像I_FL、滤波右目图像I_FR的像素值，像素p和p_d表示滤波左目图像I_FL、滤波右目图像I_FR中对应的像素；

和

是分别在水平和垂直方向生成图像灰度梯度值的导数运算；因为基于色彩信息进行区分的AD匹配代价不能很好地处理大面积的弱纹理区域，这一措施不应占太大的比重，所以本文选取α＝0.11，两个截断值τ_c和τ_g分别设置为7和2；G_L(p)表示原始左目图像I_OL的灰度图像，中p点的灰度值，G_R(p_d)表示原始右目图像的灰度图像I_OR，中p_d点的灰度值。

步骤5：采用加权水平树结构和基于动态规划DP(dynamic programming)的能量优化方法进行代价聚集。

步骤5.1：代价聚集时采用加权水平树结构，将全局算法看作对能量函数的优化，全局算法能量函数的定义如下：

其中，D表示视差图，像素p属于图像I，并分配视差d_p给像素p；式(20)中第一项对应于全局算法能量函数的数据项，即匹配代价之后的图像中p点在视差d_p处的匹配代价值之和，后一项是根据预定义的集合N在相邻的像素p和像素q上采用的平滑惩罚函数；函数中的P₁是用于惩罚视差中的小跳跃的参数，对于视差跳跃大于一个像素的值，则更可能为视差边界，增加第二个参数P₂，使P₂＞P₁；d_q为q点的视差。

集合N的不同选择影响了优化过程的效率方面。理想的情况下通过所有空间相邻的像素，即四连接的网格来形成N，然而，这导致了大量的计算并且在优化计算过程时会变得复杂。在本发明中，选择水平树结构来约束相邻像素的连通性，从而可以通过DP有效地实现能量的优化。图2(a)为水平树结构的示例图，虚线矩形框中为整个水平代价聚集的过程，中心像素v为根节点，该树结构由水平方向和垂直方向组成，首先以垂直方向为基准，对于该方向的每个节点再进行水平方向的传播聚集。图2(b)、(c)为水平方向上两次完整的传播过程。通过结合前向和后向的传播过程，在两个传播过程中对结果求和，然后减去初始匹配代价，可以获得像素p的水平代价聚集值。

在大多数基于DP的能量优化的方法中，并不是均等地处理树的边缘，水平树中加权的边缘可以保留图像中的边界。但是，该边缘权重通常取决于相邻两个像素之间的颜色差异，权值一般小于1，纹理越弱的区域权重越大。许多小权重的边缘沿着树结构路径聚集，到弱纹理区域则出现小权重累积的问题。在这一步骤中，本发明提出了一种结合输入图像颜色和置信度信息的边缘权重增强方法，用来抑制弱纹理区域中这一问题的影响。所述边缘权重W_p,q(I)定义如下：

其中，|I_p-I_q|是G、B绿色green和蓝色blue两个通道的最大绝对差，σ是调整平滑度的参数，U为结合LRC,NPR,LRD三种置信测度的融合置信图；置信度度量可以预测匹配的误差，并且在置信图中，置信值越大，图中的像素点越亮。最常用的度量方法是左右一致性检测(LRC)，该方法在视差精化部分采用。根据置信图的不同强度分布，研究了匹配分数测度(MSM)、曲率测度(CUR)、朴素峰值比(NPR)、左右差异性检测(LRD)和显著相似测度(DSM)等其他测度。根据它们的性能和速度，本发明选择LRC、NPR和LRD融合方法来生成一个更有效的置信图，I_p为p点的像素值，I_q为q点的像素值，U(p)为p点三种置信测度融合，U(q)为q点三种置信测度融合；

(1)左右一致性检测(LRC)：根据以下公式检测异常值：

|D_L(x,y)-D_R(x-D_L(x,y),y)|＞τ_D (23)

其中，D_L()和D_R()分别是左目图像、右目图像代价值的初始视差图，设置阈值τ_D的值为1，根据LRC方法，将视差图中的像素分为稳定像素和不稳定像素，所有不符合式(23)约束的像素被标记为不稳定像素，否则为稳定像素，不稳定区域由遮挡和不匹配两部分组成。物体边界附近更有可能发生遮挡和不匹配的情况，而且，稳定的像素主要分布在物体的表面上，这可以确保该度量方法在弱纹理区域中能够提供有效的置信值。然后，建立一个与视差图相同大小的置信矩阵，对于每个像素p，如果属于稳定像素，设置U_LRC(p)＝1，否则，U_LRC(p)＝0；U_LRC(p)为p点的LRC置信测度。

(2)朴素峰值比(NPR)：NPR在检测高置信度的突出像素方面表现较好。朴素峰值比由第二低匹配代价c₂和最低匹配代价c₁的比率定义：

其中，τ_NPR是截断参数二；

(3)左右差异性检测(LRD)：LRD是一种新颖的度量方法，左右差异性检测在检测两个最小成本之间的巨大差异以及图像对之间最小匹配成本的一致性时有良好的表现，具有相似的成本值和较小的差异值，因此它在视差不连续区域表现良好。左右差异性检测LRD的定义为：

其中，τ_LRD为截断参数三，c_R表示右目图像的代价聚集值，d₁是与最低匹配代价c₁相对应的视差值，本发明中截断参数设置如下，截断参数一τ_LRC＝2,截断参数二τ_NPR＝2,截断参数三τ_LRD＝5；

最后，三种置信测度融合方法如下：U(p)为p点三种置信测度融合，

τ_LRC为参数；

步骤5.2：在构造加权水平树结构之后，在所述加权水平树结构上实现基于DP的能量优化。

采用基于DP的能量优化方法，匹配代价通过以下的递归函数定义：

其中，m(p,d_p)是初始匹配代价，函数V(p)指所有p点的子节点集合；返回p的值，S(d_p,d_q)是平滑惩罚函数，其中涉及到相邻的相邻像素点在视差d处的像素值，S(d_p,d_q)的值和相邻像素p,q的视差值有关像素p和像素q之间的视差值，W_p,q(I)是边缘权重；与大多数的递归函数不同，大多数平滑惩罚函数仅包括S(d_p,d_q)和C(q,d_q)，本发明中引入

使得该项可以自适应地改善来自其他代价层的贡献，减少过度惩罚的不利影响，进一步降低匹配的歧义性。C(p,d_p)指点p在d_p处的代价聚集值，C(q,d_q)指点q在d_q处的代价聚集值，

指q点在视差范围中的代价聚集最小值；i属于R_D，R_D指最大视差；

首先，匹配代价是在水平方向进行，包括前向传播和后向传播,对于前向DP传播，根据公式(27)，通过水平线扫描计算从最左边的像素点到最右边像素点的匹配代价值，其中q是像素p左边的像素，并且将每个像素p在视差d_p处的累积代价值存储在矩阵C_F中；同样地，后向DP传播也通过水平扫描线来更新从最右边像素点到最左边像素点的代价值，后向传播得到的代价值存储在C_B中；然后，通过将前向传播和后向传播方向得到的结果相加，减去初始匹配代价后，获得视差d_p处的像素p的水平聚合代价：

C_h(p,d_p)指水平方向上点p在视差d_p处的代价聚集值，

指水平方向上在视差范围中的最小代价聚集值，F[]为前向传播的累加代价聚集值，B[]为后向传播的累加代价聚集值；

任意像素p和在视差d_p处的水平聚合代价保留在预计算数组C_H中，公式为：

C_h(p,d_p)＝F[p,d_p]+B[p,d_p]-m(p,d_p) (29)

其次，通过基于水平聚合代价计算垂直代价聚集，获得整个水平树的能量优化：

R是最大视差范围，C_all(p,d_p)表示具有视差的像素p的匹配代价d_p；C_H是保存水平代价聚合值广泛定义的数组，C_H[p,d_p]是具体像素p在视差d处的代价聚集值；

C_H是水平聚合匹配代价的预计算数组，同样地，V′(p)返回沿垂直方向上p点的前一个像素。

在本发明中，公式(21)中P₁的惩罚值在经验上设置为3，第二个惩罚值P₂设置为∞，如图3所示，与在单代价层上进行代价优化的方法不同，代价层d上像素p的正则代价聚集值，不仅来自同一代价层相邻像素q，也来自相邻上下两层代价层。因此，倾斜或弯曲的表面都可以正确地处理。然而，为了提高代价聚集的效率，为像素p点提供支持的相邻像素q仅位于与视差层数d相差1的代价层中，其余代价层均不考虑。

步骤6：进行视差计算和视差精化，获取最终的视差图。

在通过了基于DP的代价优化之后，得到了所有视差范围每个像素的正则化代价聚集值，然后采用WTA赢者通吃(Winner-Takes-All)策略计算原始视差图：

其中，R_D是最大视差范围，C_all(p,d_p)表示具有视差的像素p的匹配代价d_p，D(p)指的是像素p点的视差值。

在本发明中，提出了一种新的后处理方法，用于精化视差图中的弱纹理区域。后处理包括两部分：稳定像素和不稳定像素的划分，新的代价值的重新调整。

首先，采用公式(23)中描述的LRC方法将像素分为稳定和不稳定像素；在左右一致性(LRC)方法中，所有不符合该约束的像素都被标记为不稳定。

该方法也有一定的局限性，当左目图像中的正确视差值不等于右目图像中实际上是不准确值的对应视差值时，左目图像中的正确视差值将错误地归因于不稳定像素，这将影响匹配的精度。因此，在使用LRC的基础上，采用基于DP的代价优化后计算的公式(26)中的置信度图进一步检测不稳定像素：

其中，U'(p)是在基于DP的代价优化后计算出的公式(26)中的融合置信图，U'_max是融合置信图U'中的最大值，参数θ用于控制容错程度，本文中取θ＝0.02。stable表示稳定像素，unstable表示不稳定像素。

检测到不稳定像素后，将正则化的代价值中不稳定像素的代价聚集值设置为零，其他的代价聚集值以指数形式更新：

其中，C_new表示新的代价聚集值，常数ω控制更新速度，本发明中设置ω＝0.1；

然后，将基于DP的代价优化方法应用到新的代价聚集值中，通过将稳定点的代价聚集值传播到不稳定点上，很大程度更新了不稳定点的视差值，最后，利用WTA策略得到精确的视差图D_fin。

步骤7：根据得到的视差图D_fin，采用二维图像和三维空间的坐标转换，得到涵隧内壁的三维数据信息。

通过步骤6得到的涵隧内壁视差图D_fin，并结合相机的内参，得到涵隧内壁的三维信息；平行光轴模型下的测量模型如图4所示，P为空间中的点，在左右相机平面的投影为P_l和P_r，O_l和O_r分别代表左右相机直角坐标系的原点，Z方向代表深度方向，f代表相机透镜的焦距，b表示相机光心间的基距。假设P点在世界坐标系中的坐标为(x,y,z)，而在左右目相机平面的投影坐标分别为(x_l,y_l)、(x_r,y_r)，并且在两个相机平面头像的纵坐标相等，则P点距双目摄像机的距离z可以通过相似三角形原理得到，即：

其中，x_l-x_r为步骤6得到的视差值D_fin；因此，涵隧内壁的三维信息为：

其中，P(X_3D,Y_3D,Z_3D)为涵隧内壁像素点的三维空间坐标，b、α_x为相机内参，分别为基线距离和相机焦距，可通过相机标定得到。x₁、y₁分别为二维图像涵隧内壁的横、纵坐标，D_fin(P)为步骤6中通过立体匹配得到的像素点P的视差值。

以上的实施方式仅是用来说明本发明，对于本技术领域的技术人员来说，在不脱离本发明的基本原理的前提下还可以做出若干改进和润饰，这些改进和润饰都应当视为本发明的保护范围。

Claims (9)

1.一种基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，包括以下步骤：

步骤1：获取涵隧内壁原始左右目图像，对双目摄像机进行标定，得到相机的内外参数，并通过相机内外参数对获取的涵隧内壁原始左右目图像进行极线校正，得到校正左目图像I_L和校正右目图像I_R；

步骤2：分别对步骤1得到的校正左目图像I_L和校正右目图像I_R进行各向异性扩散，得到滤波左目图像I_FL和滤波右目图像I_FR；所述各向异性扩散是一种支持区域内平滑的方法，用于在保留图像边缘的情况下平滑图像中的噪声；

步骤3：利用灰度梯度共生矩阵直接提取参考图像的纹理特征，并利用FCM聚类方法将每一帧参考图像中某一帧图像划分为强纹理图像和弱纹理图像两类，所述参考图像指的是原始左目图像；

步骤4：对步骤2得到的滤波左目图像I_FL和滤波右目图像I_FR进行纹理特征约束的匹配代价计算；

步骤5：采用加权水平树结构和基于动态规划的能量优化进行代价聚集；

步骤6：进行视差计算和视差精化处理，获取最终的涵隧内壁视差图；

步骤7：根据得到的视差图，采用二维图像和三维空间的坐标转换，得到涵隧内壁的三维数据信息。

2.根据权利要求1所述的基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，在步骤2中，将校正左目图像I_L和校正右目图像I_R的校正图像I(u,v)作为输入，应用下列扩散方程进行迭代：

其中，λ为常数，控制扩散的速度，Iⁱ(u,v)为通道i下的图像，I_t ⁱ(u,v)为第t次迭代时i通道下像素(u,v)的像素值，下标U、D、L、R分别表示传导系数h在上、下、左、右四个作用方向，符号

表示相邻像素之间的差异，

的定义如下式所示：

传导系数h根据式(8)在每次迭代时进行更新：

其中，α1为常数一，

分别表示t时刻像素(u,v)在方向上、下、左、右的传导系数。

3.根据权利要求2所述的基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，在步骤3中，具体步骤为：

首先，对原始左目图像I_OL的灰度图像G和梯度图像F分别进行归一化处理，所述灰度图像是原彩色图像进行灰度化得到的，所述梯度图像是通过灰度图像中每个像素点减去上一个像素点的值得到的；

G′(p)＝INT(G(p)×N_g/g_m)+1 (9)

F′(p)＝INT(F(p)×N_f/f_m)+1 (10)

其中，G'(p)和F'(p)分别是标准化灰度和梯度图像，符号INT表示舍入操作，g_m和f_m分别是原始图像中最大的梯度值和最大的灰度值，N_f和N_g分别是归一后的最大梯度值和最大灰度值；

统计归一化后的灰度图像G'(p)和梯度图像F'(p)中同时满足G′(p)＝i和F′(p)＝j的像点对数，得到共生矩阵C_o的第(i,j)个元素的值C_ij，相应的概率函数P(i,j)可以表示为：

然后，选取基于灰度梯度共生矩阵的五个纹理参数来描述原始左目图像的纹理特征，分别是：小梯度优势T₁、大梯度优势T₂、梯度均值T₃、梯度标准差T₄和梯度熵T₅，

在提取参考图像的纹理特征后，使用FCM方法将原始左目图像I_OL进行聚类，确定原始左目图像I_OL某一帧图像是属于强纹理图像还是弱纹理图像。

4.根据权利要求3所述的基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，在步骤4中，匹配代价计算的过程为：

假设C(p,d)是像素p在视差值为d时的代价值，代价值函数表示为：

C(p,d)＝αmin(C_AD(p,d),τ_c)+(1-α)·min(Π·C_Grad(p,d),τ_g) (17)

其中，C_AD(p,d)表示仅在G、B两个通道下得到的基于色彩信息的绝对差AD，即颜色匹配代价，C_Grad(p,d)是梯度图上的绝对差，即梯度匹配代价，τ_c和τ_g分别为截断值一和截断值二，用于抑制异常值的影响；α为参数二，用于平衡两个代价；Π是像素调整程度参数，Π_h为强纹理图像像素调整程度参数；Π_l为低纹理图像像素调整程度参数，颜色匹配代价函数和梯度匹配代价函数分别表示为：

其中，

和

分别表示通道i下滤波左目图像I_FL、滤波右目图像I_FR的像素值，像素p和p_d表示滤波左目图像I_FL、滤波右目图像I_FR中对应的像素；

和

是分别在水平和垂直方向生成图像灰度梯度值的导数运算；G_L(p)表示原始左目图像I_OL的灰度图像，中p点的灰度值，G_R(p_d)表示原始右目图像的灰度图像I_OR，中p_d点的灰度值。

5.根据权利要求4所述的基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，在步骤5中包括以下步骤：

步骤5.1：代价聚集时采用加权水平树结构，将全局算法看作对能量函数的优化，全局算法能量函数的定义如下：

其中，D表示视差图，像素p属于图像I，并分配视差d_p给像素p；式(20)中第一项对应于全局算法能量函数的数据项，即匹配代价之后的图像中p点在视差d_p处的匹配代价值之和，后一项是根据预定义的集合N在相邻的像素p和像素q上采用的平滑惩罚函数；函数中的P₁是用于惩罚视差中的小跳跃的参数，对于视差跳跃大于一个像素的值，增加第二个参数P₂，使P₂＞P₁；d_q为q点的视差；

步骤5.2：在构造加权水平树结构之后，采用基于DP的能量优化方法，匹配代价通过以下的递归函数定义：

其中，m(p,d_p)是初始匹配代价，函数V(p)指所有p点的子节点集合；返回p的值，S(d_p,d_q)是平滑惩罚函数，其中涉及到相邻的相邻像素点在视差d处的像素值，S(d_p,d_q)的值和相邻像素p,q的视差值有关像素p和像素q之间的视差值，W_p,q(I)是边缘权重；C(p,d_p)指点p在d_p处的代价聚集值，C(q,d_q)指点q在d_q处的代价聚集值，

指q点在视差范围中的代价聚集最小值；i属于R_D，R_D指最大视差；

首先，匹配代价是在水平方向进行，包括前向传播和后向传播,对于前向DP传播，根据公式(27)，通过水平线扫描计算从最左边的像素点到最右边像素点的匹配代价值，其中q是像素p左边的像素，并且将每个像素p在视差d_p处的累积代价值存储在矩阵C_F中；同样地，后向DP传播也通过水平扫描线来更新从最右边像素点到最左边像素点的代价值，后向传播得到的代价值存储在C_B中；然后，通过将前向传播和后向传播方向得到的结果相加，减去初始匹配代价后，获得视差d_p处的像素p的水平聚合代价：

C_h(p,d_p)指水平方向上点p在视差d_p处的代价聚集值，

指水平方向上在视差范围中的最小代价聚集值，F[]为前向传播的累加代价聚集值，B[]为后向传播的累加代价聚集值；

任意像素p和在视差d_p处的水平聚合代价保留在预计算数组C_H中，公式为：

C_h(p,d_p)＝F[p,d_p]+B[p,d_p]-m(p,d_p) (29)

其次，通过基于水平聚合代价计算垂直代价聚集，获得整个水平树的能量优化：

R是最大视差范围，C_all(p,d_p)表示具有视差的像素p的匹配代价d_p；C_H是保存水平代价聚合值广泛定义的数组，C_H[p,d_p]是具体像素p在视差d处的代价聚集值；

C_H是水平聚合匹配代价的预计算数组，同样地，V′(p)返回沿垂直方向上p点的前一个像素。

6.根据权利要求5所述的基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，在所述步骤5.1中，边缘权重W_p,q(I)定义如下：

其中，|I_p-I_q|是G、B绿色green和蓝色blue两个通道的最大绝对差，σ是调整平滑度的参数，U为结合LRC,NPR,LRD三种置信测度的融合置信图；I_p为p点的像素值，I_q为q点的像素值，U(p)为p点三种置信测度融合，U(q)为q点三种置信测度融合；

(1)左右一致性检测(LRC)：根据以下公式检测异常值：

|D_L(x,y)-D_R(x-D_L(x,y),y)|＞τ_D (23)

其中，D_L()和D_R()分别是左目图像、右目图像代价值的初始视差图，设置阈值τ_D的值，根据LRC方法，将视差图中的像素分为稳定像素和不稳定像素，所有不符合式(23)约束的像素被标记为不稳定像素，否则为稳定像素，不稳定区域由遮挡和不匹配两部分组成；(x,y)表示图像坐标；

建立一个与视差图相同大小的置信矩阵，对于每个像素p，如果属于稳定像素，设置U_LRC(p)＝1，否则，U_LRC(p)＝0；U_LRC(p)为p点的LRC置信测度；

(2)朴素峰值比：朴素峰值比由第二低匹配代价c₂和最低匹配代价c₁的比率定义：

其中，τ_NPR是截断参数二；

(3)左右差异性检测：左右差异性检测LRD的定义为：

其中，τ_LRD为截断参数三，c_R表示右目图像的代价聚集值，d₁是与最低匹配代价c₁相对应的视差值；

三种置信测度融合方法如下：U(p)为p点三种置信测度融合，

τ_LRC为参数。

7.根据权利要求1所述的基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，在步骤6中，

在通过了基于DP的代价优化之后，得到所有视差范围每个像素的正则化代价聚集值，然后采用WTA策略计算原始视差图：

其中，R_D是最大视差范围，C_all(p,d_p)表示具有视差的像素p的匹配代价d_p，D(p)指的是像素p点的视差值。

8.根据权利要求7所述的基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，利用后处理方法精化视差图中的弱纹理区域，所述后处理方法包括两部分：稳定像素和不稳定像素的划分、新的代价值的重新调整，

首先，采用公式(23)中描述的LRC方法将像素分为稳定和不稳定像素；在左右一致性(LRC)方法中，所有不符合该约束的像素都被标记为不稳定；

在使用LRC的基础上，采用基于DP的代价优化后计算的公式(26)中的置信度图进一步检测不稳定像素：

其中，U'(p)是在基于DP的代价优化后计算出的公式(26)中的融合置信图，U'_max是融合置信图U'中的最大值，参数θ用于控制容错程度，stable表示稳定像素，unstable表示不稳定像素；

检测到不稳定像素后，将正则化的代价值中不稳定像素的代价聚集值设置为零，其他的代价聚集值以指数形式更新：

其中，C_new表示新的代价聚集值，常数ω控制更新速度；

然后，将基于DP的代价优化方法应用到新的代价聚集值中，通过将稳定点的代价聚集值传播到不稳定点上，更新不稳定点的视差值，最后，利用WTA策略得到精确的视差图D_fin。

9.根据权利要求8所述的基于双目立体视觉的水下涵隧内壁三维信息恢复方法，其特征在于，在步骤7中，

P为空间中的点，在左右相机平面的投影为P_l和P_r，O_l和O_r分别代表左右相机直角坐标系的原点，Z方向代表深度方向，f代表相机透镜的焦距，b表示相机光心间的基距，假设P点在世界坐标系中的坐标为(x,y,z)，而在左右目相机平面的投影坐标分别为(x_l,y_l)、(x_r,y_r)，并且在两个相机平面头像的纵坐标相等，则P点距双目摄像机的距离z可以通过相似三角形原理得到，即：

其中，x_l-x_r为步骤6得到的视差值D_fin；因此，涵隧内壁的三维信息为：

其中，P(X_3D,Y_3D,Z_3D)为涵隧内壁像素点的三维空间坐标，b、α_x为相机内参，分别为基线距离和相机焦距，通过相机标定得到；x₁、y₁分别为二维图像涵隧内壁的横、纵坐标，D_fin(P)为步骤6中通过立体匹配得到的像素点P的视差值。

Images