CN115272271A - 一种基于双目立体视觉的管道缺陷检测与定位测距系统 - Google Patents

Abstract

本发明公开了一种基于双目立体视觉的管道缺陷检测与定位测距系统，双目相机图像捕获模块，用于捕获、采集左右相机的图像数据；相机标定模块，用于建立相机成像几何模型并矫正透镜畸变，输出相机内、外参数及畸变系数；立体校正模块，用于实现左右图像的共面行对准，使左右图像平面平行于基线，左右图像中的对应点在同一条水平极线上；深度学习目标检测模块，用于训练基于目标检测算法的深度学习网络，实现对管道缺陷的检测识别；立体匹配与深度计算模块，用于实现对管道缺陷的定位测距。能够实现对管道缺陷的非接触式测量，具有监测范围广，实时性好，精确度高，能够准确定位的优点。

Description

一种基于双目立体视觉的管道缺陷检测与定位测距系统

技术领域

本发明属于计算机视觉中的目标检测及多目视觉定位技术领域，尤其涉及一种基于双目立体视觉的管道缺陷检测与定位测距系统。

背景技术

管道输送是城市化进程中不可或缺的一个环节，为保障管道运输的安全通畅，必须定期对管道进行缺陷检测。然而传统的人工管道检查，主要依靠人的视觉，在长时间工作的情况下，缺陷识别的效率和准确性会下降，还存在安全隐患。现有的管道探测机器人也大多仅仅依靠单目摄像头采集图像，无法对管道所存在的缺陷进行准确的检测、测量与定位。

随着计算机图像处理能力的不断提高，计算机视觉得到了广泛的应用，计算机视觉与机器人系统的结合成为提高机器人智能的重要手段。在目前的实际工业应用中，通常采用二维视觉技术与机器人结合使用，但二维图像几乎无法得到物体的深度信息，很难获得目标的三维信息。因此，有必要从二维图像中重建目标的三维信息，以便更全面、真实地反映客观物体。双目立体视觉是计算机视觉领域的一个重要分支，它通过使用两个相隔较短距离的摄像机同时捕捉场景，模拟人眼从两个不同的观察角度获取同一场景的图像，通过对两幅图像的视差进行分析来恢复原图像中各点的三维信息。由于双目视觉具有效率高、精度高、非接触式测量等优点，可广泛应用于目标识别和定位。

基于深度学习的目标检测技术是计算机视觉领域中的一个重要分支，与传统目标检测方法相比，它不仅提高了识别速度，而且提高了识别的准确率。深度学习通过卷积神经网络来进行自我训练和学习，可以实现特征提取过程的自动化，完成对深度学习网络的构建与训练，得到权重文件，即可实现对目标的检测识别，兼具稳定、高精度、高效率、自动检测等优点。

针对传统的管道缺陷检测方法所面临的问题，如何利用双目视觉系统对管道所存在的缺陷进行准确的检测、测量与定位是当下需要解决的问题。

发明内容

针对现有技术不足，本发明的目的在于提供一种基于双目立体视觉的管道缺陷检测与定位测距系统，通过双目立体视觉技术实现对双目相机捕获图像的三维重建与对检测目标的定位测距，结合深度学习技术实现对管道缺陷的目标检测，使该系统具备全自动、非接触式测量、定位精准且实时性高的特点，提高了缺陷识别的效率和准确性。

本发明提供如下技术方案：

一种基于双目立体视觉的管道缺陷检测与定位测距系统，包括双目相机图像捕获模块、相机标定模块、立体校正模块、深度学习目标检测模块、立体匹配与深度计算模块；

双目相机图像捕获模块，用于捕获、采集左右相机的图像数据，实现对管道图像的实时捕获，同时也采集管道缺陷图像数据，为管道缺陷数据集提供数据来源；

相机标定模块，用于对双目相机捕获的图像进行校正，得到畸变相对很小的图像，输入为标定板已知特征点的图像坐标和世界坐标，建立相机成像的几何模型，确定相机图像像素坐标与场景点三维坐标之间的关系，输出为相机的内外参数及畸变系数；

立体校正模块，采用相交光轴结构的视觉系统，通过分解旋转矩阵和行对准校正旋转矩阵改变两摄像头的相对位置，使两幅图像中的对应点在同一条水平极线上，在摄像头原始数据基础上，利用数学物理方法获取校正后相机参数，将二维搜索变为一维搜索，缩小匹配搜索空间，提高立体匹配的搜索速率，最后通过校正映射查找表完成图像校正，将图像进行裁剪并保存；

深度学习目标检测模块，通过由双目相机图像捕获模块采集的管道缺陷数据，自建管道缺陷数据集，训练基于目标检测算法的深度学习网络，该网络将图像进行推断、预测，输入为立体校正后左相机捕获的RGB三通道图像，输出为左摄像头图像中识别的缺陷语义标签class、识别框中心坐标(x,y)以及宽高(w,h)，所述语义标签、识别框中心坐标以及宽高数据作为物体识别信息；

立体匹配与深度计算模块，以经过立体校正后的双目相机左右摄像头图像与经过深度学习物体识别得到的管道缺陷检测信息为输入，经立体匹配算法处理后，得到经过立体校正后的双目相机左摄像头视差图，再经过深度计算将其转化为深度图，最后结合管道缺陷检测信息，输出为经过立体校正后的双目相机左摄像头图像中被识别物体映射到实际三维空间中的空间三维坐标。

优选的，通过双目相机图像捕获模块，捕获、采集左右相机的图像数据；通过相机标定模块，建立相机成像几何模型并矫正透镜畸变，得到相机内外参数及畸变系数；通过立体校正模块，实现对左右图像的共面行对准，使左右图像平面平行于基线，左右图像中的对应点在同一条水平极线上；通过深度学习目标检测模块，训练基于目标检测算法的深度学习网络，实现对管道缺陷的检测识别，得到物体识别信息；通过立体匹配与深度计算模块，得到管道缺陷的空间三维坐标，实现对管道缺陷的精确定位测距。

优选的，所述双目相机图像捕获模块、相机标定模块、立体校正模块、深度学习目标检测模块、立体匹配与深度计算模块之间通过以下步骤，实现对管道缺陷的目标检测与定位测距：

步骤一：对双目相机进行标定，建立相机成像的几何模型，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，由标定板已知特征点的图像坐标和世界坐标求解双目相机左右摄像头的内参、外参和畸变系数，所述双目相机左右摄像头的内参、外参和畸变系数作为相机标定参数，通过调节内参、外参和畸变系数可对双目相机拍摄的图像进行校正，得到畸变相对很小的图像；

优选的，步骤一具体实现步骤如下：

步骤1.1：制作一块由黑白方块间隔组成的棋盘标定板，用双目相机在多位置、多角度、多姿态下对棋盘格标定板进行多次拍摄采样，使得单平面棋盘格在左右摄像头中均清晰成像，对每一张标定图片，提取其角点信息，以获得标定图像上所有内角点的图像坐标，以及标定板图像上所有内角点的空间三维坐标；

步骤1.2：建立相机成像的几何模型，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，这些几何模型参数就是相机标定参数，包括内、外参数以及畸变系数；

外参数矩阵W，反应相机坐标系与世界坐标系的转换，其中，R为双目相机右摄像头相对左摄像头的旋转矩阵，t为双目相机右摄像头相对左摄像头的平移向量，内参数矩阵M，反应像素坐标系与相机坐标系的转换，其中，f为透镜焦距，(u₀,v₀)为图像坐标系原点在像素坐标系下的坐标，d_x、f_y为每个像素点在图像坐标系x轴、y轴方向的尺寸：

步骤1.3：将步骤1.1中获得的标定图像上所有内角点的图像坐标，标定板图像上所有内角点的空间三维坐标作为输入，依据相机成像的几何模型，通过实验与计算求解并输出双目相机左右摄像头的内参、外参、畸变系数；

步骤1.4：将步骤1.3双目相机标定内外参数作为已知常量，将通过步骤1.1获取的坐标信息,利用校正前后的坐标关系，求解5个畸变参数k₁、k₂、k₃、p₁、p₂进行畸变矫正：

其中(x_p，y_p)是图像的原坐标，(x_tcorr，y_tcorr)是图像修正后的坐标，用r＝0处的泰勒级数展开近似描述。

步骤二：通过极线约束进行立体校正，使两幅图像中的对应点在同一条水平极线上，获取校正后的相机参数，调用OpenCV实时获取校正后左右摄像头的参数，完成矫正，最后通过校正映射获取校正后的图像；

优选的，步骤二具体实现步骤如下：

步骤2.1：将双目相机旋转矩阵R划分为左右摄像头的合成旋转矩阵r₁和r₂两部分，左右摄像头各旋转一半，使得左右摄像头的光轴平行，实现左右摄像头的成像面共面；

步骤2.2：输入左右摄像头的合成旋转矩阵r₁和r₂、原始的左右摄像头内参矩阵、平移向量t以及棋盘图像的大小，调用OpenCV中cvStereoRectify函数，输出左右摄像头行对准校正旋转矩阵R₁和R₂、校正后左右摄像头内参矩阵M_l和M_r、校正后左右摄像头投影矩阵P_l和P_r以及重投影矩阵Q；

步骤2.3：将步骤2.2中的输出矩阵作为已知常量，通过左右视图的校正查找映射表，采用逆向映射，对目标图像上的每一个整形的像素位置，查找出其对应源图像上的浮点位置，并对周围源像素的每个整形值进行插值，在校正图像都被赋值之后，对图像进行裁剪，保存校正结果。

步骤三：通过双目相机预先采集大量管道缺陷图像，自建管道缺陷数据集，并对数据集进行筛选、增强以优化数据集，基于自建数据集对管道缺陷图像进行图像标注，标注完成后开始训练深度卷积神经网络模型，训练完成后对得到的权重进行推断，分析检测结果，得到可供管道缺陷检测使用的权重文件，实际使用时，即可通过双目相机图像捕获模块实时捕获图像，基于权重文件进行管道缺陷目标检测，得到管道缺陷检测信息；

优选的，步骤三具体实现步骤如下：

步骤3.1：数据采集，通过双目相机预先采集大量图像，拍摄包含管道缺陷的图像，自建管道缺陷数据集；

步骤3.2：数据筛选与增强，对管道缺陷数据集进行初步筛选，剔除无效数据，并对初步筛选后的图像进行数据增强操作，优化管道缺陷数据集，以便为提升训练效果；

步骤3.3：图像标注，标注可能存在的目标，生成标注文件，组织训练目录，构建训练所需的训练集、验证集以及测试集；

步骤3.4：图像训练，在预训练模型的基础上进行模型迭代，通过Jupter检测训练成果，调整参数以防止过拟合；

步骤3.5：图像推断，对图像训练完成后得到的权重进行推断，应当使用实际拍摄的画面，分析检测结果，若检测效果良好，即可使用训练得到的权重文件进行目标检测；

步骤3.6：目标检测，通过由双目相机实时捕获的图像，在不同图像细粒度上聚合并形成图像特征的卷积神经网络，混合和组合图像特征，并将图像特征传递到预测层，对图像特征进行预测，生成边界框并预测类别，最终得到管道缺陷检测信息。

优选的，在目标检测算法的神经网络中，具体包括：

一、数据增强，将图像缩小后随机粘贴到COCO 2017数据集上以增加数据集的数量，同时，通过随机缩放、随机裁剪、随机排列的方式对增强后的数据集做进一步的泛化处理；

二、Focus隔行采样拼接，将图像统一缩放到(3,640,640)的大小作为输入，复制四份，通过切片操作将这个四个图片切成了四个(3,320,320)的切片，接下来使用Concat从深度上连接这四个切片，输出为(12,20,320)，再通过卷积核数为32的卷积层，生成(32,320,320)的输出，最后经过batch_borm和leaky_relu将结果输入到下一个卷积层；

三、Backbone，在不同图像细粒度上聚合并形成图像特征的卷积神经网络，其中，Bottlenneck为经典的残差结构，先是1×1的卷积层，再是3×3的卷积层，最后通过残差结构与初始输入相加，CSP将原输入分成两个分支，分别进行卷积操作使得通道数减半，分支1进行Bottlenneck×N操作，随后Concat分支1和分支2，从而使得BottlenneckCSP的输入与输出是一样的大小，目的是为了让模型学习到更多的特征；

四、Neck：混合和组合图像特征的网络层，并将图像特征传递到预测层。其中最重要的为SPP结构，SPP的输入为512×20×20，经过1×1的卷积层后输出256×20×20，然后经过并列的三个MaxPool进行采样，将结果与其初始特征相加，输出1024×20×20，最后用512的卷积核将其恢复到512×20×20；

五、Head：对图像特征进行预测，生成边界框并预测类别。

步骤四：将经过立体校正后的双目相机左右摄像头图像与经过深度学习物体识别得到的管道缺陷检测信息作为输入量传输至立体匹配与深度计算模块，以管道缺陷检测信息中的识别框中心坐标为参考量，经立体匹配与深度计算模块对图像处理后，输出得到，经过立体校正后的双目相机左摄像头图像中被识别管道缺陷映射到实际三维空间中的空间三维坐标。

优选的，步骤四具体实现步骤如下：

步骤4.1：以经过立体校正后的双目相机左右摄像头图像为输入，在预设视差范围内进行匹配代价计算，匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性，两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大，使用BT算法作为匹配代价的计算方法，计算公式为：

通过公式可实现对经过立体校正后的双目摄像头左右摄像头图像在预设视差范围内进行匹配代价计算，得到原图像在预设视差范围内各像素点的匹配代价；

步骤4.2：以预设视差范围内计算得到的各像素点的匹配代价为输入，进行代价聚合，采用全局立体匹配算法的思路，即全局能量最优化策略，简单来说就是寻找每个像素的最优视差使得整张影像的全局能量函数最小，全局能量函数的定义如下所示：

E(d)＝E_data(d)+E_smooth(d)；

采用路径代价聚合的方法，即将像素所有视差下的匹配代价进行像素周围所有路径上的一维聚合得到路径下的路径代价值，然后将所有路径代价值相加得到该像素聚合后的匹配代价值，像素p沿着某条路径r的路径代价计算方法下所示：

其中，p代表像素，r代表路径，d代表视差，p-r代表像素p路径内的像素，L表示某一路径聚合代价值，Lr(p-r,d)表示路径内上一个像素视差为d时的代价值，Lr(p-r,d-1)表示路径内上一个像素视差为d-1时的代价值，Lr(p-r,d+1)表示路径内上一个像素视差为d+1时的代价值，min_iL_r(p-r，i)表示路径内上一个像素所有代价值的最小值；

第一项为匹配代价值C，属于数据项；

第二项是平滑项，累加到路径代价上的值取，不做惩罚、做P₁惩罚和做P₂惩罚三种情况中代价最小的值；P₁是为了适应倾斜或弯曲的表面，P₂则是为了保留不连续性。P₂往往是根据相邻像素的灰度差来动态调整，如下式所示：

P₂′为P₂的初始值，一般设置为远大于P₁的数，I_bq和和I_bq分别表示像素p和q的灰度值；

第三项是为了保证新的路径代价值Lr不超过一定数值上限，

总路径代价值S则可由下式计算：

通过上述各式计算可实现多路径的代价聚合，得到各像素在预设视差范围内的多路径代价聚合值；

步骤4.3：以各像素在预设视差范围内的多路径代价聚合值为输入，进行视差计算，视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值，采用Winner-take-al l算法,即在某个像素的所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差，最终得到各像素在代价聚合后的视差；

步骤4.4：以各像素在代价聚合后的视差为输入，进行视差优化，视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误匹配、提高视差精度和抑制噪声；

剔除错误匹配采用左右一致性检查法，它基于视差的唯一性约束，即每个像素最多只存在一个正确视差，具体步骤是将左右影像互换位置，即左影像成为右影像，右影像成为左影像，再做一次立体匹配，得到另一张视差图，因为视差图中每个值所反映的是两个像素之间的对应关系，所以依据视差的唯一性约束，通过左影像的视差图，找到每个像素在右影像的同名点像素及该像素对应的视差值，这两个视差值之差的绝对值若小于1，则满足唯一性约束被保留，反之则不满足唯一性约束而被剔除，同时，采用连通域检测的方法来剔除孤立异常点，去除视差图中由于误匹配造成的小团块，过滤小的孤立的散斑，一致性检查的公式如下所示：

提高视差精度采用子像素优化技术，用二次曲线内插的方法获得子像素精度，对最优视差的代价值以及前后两个视差的代价值进行二次曲线拟合，曲线的极值点所对应的视差值即为新的子像素视差值；抑制噪声采用中值滤波，使视差结果更加平滑，一定程度上消除视差图中的噪声，同时起到视差填充的作用，通过上述步骤可实现视差优化，最终得到经过立体校正后的双目摄像头左摄像头视差图；

步骤4.5：以经过立体校正后的双目相机左摄像头视差图为输入，可进行深度计算，像素深度计算公式如下所示：

其中f为焦距长度，b为基线长度，d为视差，c_xr与c_xl为两个相机主点的列坐标，经过深度计算后，可得到经过立体校正后的双目相机左摄像头图像的深度图，结合经过深度学习目标检测得到的管道缺陷检测信息，可最终得到经过立体校正后的双目相机左摄像头图像中被识别管道缺陷映射到实际三维空间中的空间三维坐标。

与现有技术相比，本发明具有以下有益效果：

(1)本发明一种基于双目立体视觉的管道缺陷检测与定位测距系统，通过双目立体视觉技术实现对双目相机捕获图像的三维重建与对检测目标的定位测距，结合深度学习技术实现对管道缺陷的目标检测，具有全自动、非接触式测量、定位精准且实时性高等特点。

(2)本发明一种基于双目立体视觉的管道缺陷检测与定位测距系统，能够实现对管道缺陷的非接触式测量，且具有监测范围广，实时性好，精确度高，能够准确定位的特点。

(3)本发明一种基于双目立体视觉的管道缺陷检测与定位测距系统，通过深度学习目标检测模块，训练基于目标检测算法的深度学习网络，实现对管道缺陷的检测识别，得到物体识别信息。

(4)本发明一种基于双目立体视觉的管道缺陷检测与定位测距系统，通过立体匹配与深度计算模块，得到管道缺陷的空间三维坐标，实现对管道缺陷的精确定位测距。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的总体框架图。

图2是本发明的工作流程图。

图3是本发明的深度学习目标检测模块工作流程图。

图4是本发明的立体匹配与深度计算模块工作流程图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例一：

如图1所示，一种基于双目立体视觉的管道缺陷检测与定位测距系统，包括双目相机图像捕获模块、相机标定模块、立体校正模块、深度学习目标检测模块、立体匹配与深度计算模块；

双目相机图像捕获模块，用于捕获、采集左右相机的图像数据，实现对管道图像的实时捕获，同时也采集管道缺陷图像数据，为管道缺陷数据集提供数据来源；

相机标定模块，用于对双目相机捕获的图像进行校正，得到畸变相对很小的图像，输入为标定板已知特征点的图像坐标和世界坐标，建立相机成像的几何模型，确定相机图像像素坐标与场景点三维坐标之间的关系，输出为相机的内外参数及畸变系数；

立体校正模块，采用相交光轴结构的视觉系统，通过分解旋转矩阵和行对准校正旋转矩阵改变两摄像头的相对位置，使两幅图像中的对应点在同一条水平极线上，在摄像头原始数据基础上，利用数学物理方法获取校正后相机参数，将二维搜索变为一维搜索，缩小匹配搜索空间，提高立体匹配的搜索速率，最后通过校正映射查找表完成图像校正，将图像进行裁剪并保存；

深度学习目标检测模块，通过由双目相机图像捕获模块采集的管道缺陷数据，自建管道缺陷数据集，训练基于目标检测算法的深度学习网络，该网络将图像进行推断、预测，输入为立体校正后左相机捕获的RGB三通道图像，输出为左摄像头图像中识别的缺陷语义标签class、识别框中心坐标(x,y)以及宽高(w,h)，所述语义标签、识别框中心坐标以及宽高数据作为物体识别信息；

立体匹配与深度计算模块，以经过立体校正后的双目相机左右摄像头图像与经过深度学习物体识别得到的管道缺陷检测信息为输入，经立体匹配算法处理后，得到经过立体校正后的双目相机左摄像头视差图，再经过深度计算将其转化为深度图，最后结合管道缺陷检测信息，输出为经过立体校正后的双目相机左摄像头图像中被识别物体映射到实际三维空间中的空间三维坐标。

通过双目相机图像捕获模块，捕获、采集左右相机的图像数据；通过相机标定模块，建立相机成像几何模型并矫正透镜畸变，得到相机内外参数及畸变系数；通过立体校正模块，实现对左右图像的共面行对准，使左右图像平面平行于基线，左右图像中的对应点在同一条水平极线上；通过深度学习目标检测模块，训练基于目标检测算法的深度学习网络，实现对管道缺陷的检测识别，得到物体识别信息；通过立体匹配与深度计算模块，得到管道缺陷的空间三维坐标，实现对管道缺陷的精确定位测距。

结合图2所示，所述双目相机图像捕获模块、相机标定模块、立体校正模块、深度学习目标检测模块、立体匹配与深度计算模块之间通过以下步骤，实现对管道缺陷的目标检测与定位测距：

步骤一：对双目相机进行标定，建立相机成像的几何模型，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，由标定板已知特征点的图像坐标和世界坐标求解双目相机左右摄像头的内参、外参和畸变系数，所述双目相机左右摄像头的内参、外参和畸变系数作为相机标定参数，通过调节内参、外参和畸变系数可对双目相机拍摄的图像进行校正，得到畸变相对很小的图像；

步骤一具体实现步骤如下：

步骤1.1：制作一块由黑白方块间隔组成的棋盘标定板，用双目相机在多位置、多角度、多姿态下对棋盘格标定板进行多次拍摄采样，使得单平面棋盘格在左右摄像头中均清晰成像，对每一张标定图片，提取其角点信息，以获得标定图像上所有内角点的图像坐标，以及标定板图像上所有内角点的空间三维坐标；

步骤1.2：建立相机成像的几何模型，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，这些几何模型参数就是相机标定参数，包括内、外参数以及畸变系数；

外参数矩阵W，反应相机坐标系与世界坐标系的转换，其中，R为双目相机右摄像头相对左摄像头的旋转矩阵，t为双目相机右摄像头相对左摄像头的平移向量，内参数矩阵M，反应像素坐标系与相机坐标系的转换，其中，f为透镜焦距，(u₀,v₀)为图像坐标系原点在像素坐标系下的坐标，d_x、d_y为每个像素点在图像坐标系x轴、y轴方向的尺寸：

步骤1.3：将步骤1.1中获得的标定图像上所有内角点的图像坐标，标定板图像上所有内角点的空间三维坐标作为输入，依据相机成像的几何模型，通过实验与计算求解并输出双目相机左右摄像头的内参、外参、畸变系数；

步骤1.4：将步骤1.3双目相机标定内外参数作为已知常量，将通过步骤1.1获取的坐标信息,利用校正前后的坐标关系，求解5个畸变参数k₁、k₂、k₃、p₁、p₂进行畸变矫正：

其中(x_p，y_p)是图像的原坐标，(x_tcorr，y_tcorr)是图像修正后的坐标，用r＝0处的泰勒级数展开近似描述。

步骤二：通过极线约束进行立体校正，使两幅图像中的对应点在同一条水平极线上，获取校正后的相机参数，调用OpenCV实时获取校正后左右摄像头的参数，完成矫正，最后通过校正映射获取校正后的图像；

步骤二具体实现步骤如下：

步骤2.1：将双目相机旋转矩阵R划分为左右摄像头的合成旋转矩阵r₁和r₂两部分，左右摄像头各旋转一半，使得左右摄像头的光轴平行，实现左右摄像头的成像面共面；

步骤2.2：输入左右摄像头的合成旋转矩阵r₁和r₂、原始的左右摄像头内参矩阵、平移向量t以及棋盘图像的大小，调用OpenCV中cvStereoRectify函数，输出左右摄像头行对准校正旋转矩阵R₁和R₂、校正后左右摄像头内参矩阵M_l和M_r、校正后左右摄像头投影矩阵P_l和P_r以及重投影矩阵Q；

步骤2.3：将步骤2.2中的输出矩阵作为已知常量，通过左右视图的校正查找映射表，采用逆向映射，对目标图像上的每一个整形的像素位置，查找出其对应源图像上的浮点位置，并对周围源像素的每个整形值进行插值，在校正图像都被赋值之后，对图像进行裁剪，保存校正结果。

步骤三：通过双目相机预先采集大量管道缺陷图像，自建管道缺陷数据集，并对数据集进行筛选、增强以优化数据集，基于自建数据集对管道缺陷图像进行图像标注，标注完成后开始训练深度卷积神经网络模型，训练完成后对得到的权重进行推断，分析检测结果，得到可供管道缺陷检测使用的权重文件，实际使用时，即可通过双目相机图像捕获模块实时捕获图像，基于权重文件进行管道缺陷目标检测，得到管道缺陷检测信息；

结合图3所示，步骤三具体实现步骤如下：

步骤3.1：数据采集，通过双目相机预先采集大量图像，拍摄包含管道缺陷的图像，自建管道缺陷数据集；

步骤3.2：数据筛选与增强，对管道缺陷数据集进行初步筛选，剔除无效数据，并对初步筛选后的图像进行数据增强操作，优化管道缺陷数据集，以便为提升训练效果；

步骤3.3：图像标注，标注可能存在的目标，生成标注文件，组织训练目录，构建训练所需的训练集、验证集以及测试集；

步骤3.4：图像训练，在预训练模型的基础上进行模型迭代，通过Jupter检测训练成果，调整参数以防止过拟合；

步骤3.5：图像推断，对图像训练完成后得到的权重进行推断，应当使用实际拍摄的画面，分析检测结果，若检测效果良好，即可使用训练得到的权重文件进行目标检测；

步骤3.6：目标检测，通过由双目相机实时捕获的图像，在不同图像细粒度上聚合并形成图像特征的卷积神经网络，混合和组合图像特征，并将图像特征传递到预测层，对图像特征进行预测，生成边界框并预测类别，最终得到管道缺陷检测信息。

在本发明公开的YOLOv5目标检测算法的神经网络中，具体包括：

一、数据增强，将图像缩小后随机粘贴到COCO 2017数据集上以增加数据集的数量，同时，通过随机缩放、随机裁剪、随机排列的方式对增强后的数据集做进一步的泛化处理；

二、Focus隔行采样拼接，将图像统一缩放到(3,640,640)的大小作为输入，复制四份，通过切片操作将这个四个图片切成了四个(3,320,320)的切片，接下来使用Concat从深度上连接这四个切片，输出为(12,20,320)，再通过卷积核数为32的卷积层，生成(32,320,320)的输出，最后经过batch_borm和leaky_relu将结果输入到下一个卷积层；

三、Backbone，在不同图像细粒度上聚合并形成图像特征的卷积神经网络，其中，Bottlenneck为经典的残差结构，先是1×1的卷积层，再是3×3的卷积层，最后通过残差结构与初始输入相加，CSP将原输入分成两个分支，分别进行卷积操作使得通道数减半，分支1进行Bottlenneck×N操作，随后Concat分支1和分支2，从而使得BottlenneckCSP的输入与输出是一样的大小，目的是为了让模型学习到更多的特征；

四、Neck：混合和组合图像特征的网络层，并将图像特征传递到预测层。其中最重要的为SPP结构，SPP的输入为512×20×20，经过1×1的卷积层后输出256×20×20，然后经过并列的三个MaxPool进行采样，将结果与其初始特征相加，输出1024×20×20，最后用512的卷积核将其恢复到512×20×20；

五、Head：对图像特征进行预测，生成边界框并预测类别。

对于YOLOv5，各类权重文件的Backbone，Neck和Head均一致。唯一的区别在与模型的深度和宽度设置，只需要修改这两个参数即可以调整模型的网络结构，其中yolov5l的参数是默认参数。

步骤四：将经过立体校正后的双目相机左右摄像头图像与经过深度学习物体识别得到的管道缺陷检测信息作为输入量传输至立体匹配与深度计算模块，以管道缺陷检测信息中的识别框中心坐标为参考量，经立体匹配与深度计算模块对图像处理后，输出得到，经过立体校正后的双目相机左摄像头图像中被识别管道缺陷映射到实际三维空间中的空间三维坐标。

结合图4所示，步骤四具体实现步骤如下：

步骤4.1：以经过立体校正后的双目相机左右摄像头图像为输入，在预设视差范围内进行匹配代价计算，匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性，两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大，使用BT算法作为匹配代价的计算方法，计算公式为：

通过公式可实现对经过立体校正后的双目摄像头左右摄像头图像在预设视差范围内进行匹配代价计算，得到原图像在预设视差范围内各像素点的匹配代价；

步骤4.2：以预设视差范围内计算得到的各像素点的匹配代价为输入，进行代价聚合，采用全局立体匹配算法的思路，即全局能量最优化策略，简单来说就是寻找每个像素的最优视差使得整张影像的全局能量函数最小，全局能量函数的定义如下所示：

E(d)＝E_data(d)+E_smooth(d)；

采用路径代价聚合的方法，即将像素所有视差下的匹配代价进行像素周围所有路径上的一维聚合得到路径下的路径代价值，然后将所有路径代价值相加得到该像素聚合后的匹配代价值，像素p沿着某条路径r的路径代价计算方法下所示：

其中，p代表像素，r代表路径，d代表视差，p-r代表像素p路径内的像素，L表示某一路径聚合代价值，Lr(p-r,d)表示路径内上一个像素视差为d时的代价值，Lr(p-r,d-1)表示路径内上一个像素视差为d-1时的代价值，Lr(p-r,d+1)表示路径内上一个像素视差为d+1时的代价值，min_iL_r(p-r，i)表示路径内上一个像素所有代价值的最小值；

第一项为匹配代价值C，属于数据项；第二项是平滑项，累加到路径代价上的值取，不做惩罚、做P₁惩罚和做P₂惩罚三种情况中代价最小的值；P₁是为了适应倾斜或弯曲的表面，P₂则是为了保留不连续性。P₂往往是根据相邻像素的灰度差来动态调整，如下式所示：

P₂′为P₂的初始值，一般设置为远大于P₁的数，I_bp和和I_bq分别表示像素p和q的灰度值；第三项是为了保证新的路径代价值Lr不超过一定数值上限，

总路径代价值S则可由下式计算：

通过上述各式计算可实现多路径的代价聚合，得到各像素在预设视差范围内的多路径代价聚合值；

步骤4.3：以各像素在预设视差范围内的多路径代价聚合值为输入，进行视差计算，视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值，采用Winner-take-all算法,即在某个像素的所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差，最终得到各像素在代价聚合后的视差；

步骤4.4：以各像素在代价聚合后的视差为输入，进行视差优化，视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误匹配、提高视差精度和抑制噪声；

剔除错误匹配采用左右一致性检查法，它基于视差的唯一性约束，即每个像素最多只存在一个正确视差，具体步骤是将左右影像互换位置，即左影像成为右影像，右影像成为左影像，再做一次立体匹配，得到另一张视差图，因为视差图中每个值所反映的是两个像素之间的对应关系，所以依据视差的唯一性约束，通过左影像的视差图，找到每个像素在右影像的同名点像素及该像素对应的视差值，这两个视差值之差的绝对值若小于1，则满足唯一性约束被保留，反之则不满足唯一性约束而被剔除，同时，采用连通域检测的方法来剔除孤立异常点，去除视差图中由于误匹配造成的小团块，过滤小的孤立的散斑，一致性检查的公式如下所示：

提高视差精度采用子像素优化技术，用二次曲线内插的方法获得子像素精度，对最优视差的代价值以及前后两个视差的代价值进行二次曲线拟合，曲线的极值点所对应的视差值即为新的子像素视差值；抑制噪声采用中值滤波，使视差结果更加平滑，一定程度上消除视差图中的噪声，同时起到视差填充的作用，通过上述步骤可实现视差优化，最终得到经过立体校正后的双目摄像头左摄像头视差图；

步骤4.5：以经过立体校正后的双目相机左摄像头视差图为输入，可进行深度计算，像素深度计算公式如下所示：

其中f为焦距长度，b为基线长度，d为视差，c_xr与c_xl为两个相机主点的列坐标，经过深度计算后，可得到经过立体校正后的双目相机左摄像头图像的深度图，结合经过深度学习目标检测得到的管道缺陷检测信息，可最终得到经过立体校正后的双目相机左摄像头图像中被识别管道缺陷映射到实际三维空间中的空间三维坐标。

经过上述步骤，得到管道缺陷的空间三维坐标，即实现了对管道缺陷的目标检测与定位测距，通过双目立体视觉技术实现对双目相机捕获图像的三维重建与对检测目标的定位测距，结合深度学习技术实现对管道缺陷的目标检测，具有全自动、非接触式测量、定位精准且实时性高等特点。

通过上述技术方案得到的装置是一种基于双目立体视觉的管道缺陷检测与定位测距系统，通过设置双目相机图像捕获模块、相机标定模块、立体校正模块、深度学习目标检测模块、立体匹配与深度计算模块，通过本发明的工作流程：步骤一、步骤二、步骤三、步骤四，即可实现对管道缺陷的目标检测与定位测距。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于双目立体视觉的管道缺陷检测与定位测距系统，其特征在于，包括双目相机图像捕获模块、相机标定模块、立体校正模块、深度学习目标检测模块、立体匹配与深度计算模块。

2.根据权利要求1所述一种基于双目立体视觉的管道缺陷检测与定位测距系统，其特征在于，所述双目相机图像捕获模块、相机标定模块、立体校正模块、深度学习目标检测模块、立体匹配与深度计算模块之间通过以下步骤，实现对管道缺陷的目标检测与定位测距：

步骤一：对双目相机进行标定，建立相机成像的几何模型，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，由标定板已知特征点的图像坐标和世界坐标求解双目相机左右摄像头的内参、外参和畸变系数，所述双目相机左右摄像头的内参、外参和畸变系数作为相机标定参数，通过调节内参、外参和畸变系数可对双目相机拍摄的图像进行校正，得到畸变相对很小的图像。

步骤二：通过极线约束进行立体校正，使两幅图像中的对应点在同一条水平极线上，获取校正后的相机参数，调用OpenCV实时获取校正后左右摄像头的参数，完成矫正，最后通过校正映射获取校正后的图像。

步骤三：通过双目相机预先采集大量管道缺陷图像，自建管道缺陷数据集，并对数据集进行筛选、增强以优化数据集，基于自建数据集对管道缺陷图像进行图像标注，标注完成后开始训练深度卷积神经网络模型，训练完成后对得到的权重进行推断，分析检测结果，得到可供管道缺陷检测使用的权重文件，实际使用时，即可通过双目相机图像捕获模块实时捕获图像，基于权重文件进行管道缺陷目标检测，得到管道缺陷检测信息。

步骤四：将经过立体校正后的双目相机左右摄像头图像与经过深度学习物体识别得到的管道缺陷检测信息作为输入量传输至立体匹配与深度计算模块，以管道缺陷检测信息中的识别框中心坐标为参考量，经立体匹配与深度计算模块对图像处理后，输出得到，经过立体校正后的双目相机左摄像头图像中被识别管道缺陷映射到实际三维空间中的空间三维坐标。

3.根据权利要求2所述一种基于双目立体视觉的管道缺陷检测与定位测距系统，其特征在于，

步骤一具体实现步骤如下：

步骤1.1：制作一块由黑白方块间隔组成的棋盘标定板，用双目相机在多位置、多角度、多姿态下对棋盘格标定板进行多次拍摄采样，使得单平面棋盘格在左右摄像头中均清晰成像，对每一张标定图片，提取其角点信息，以获得标定图像上所有内角点的图像坐标，以及标定板图像上所有内角点的空间三维坐标；

步骤1.2：建立相机成像的几何模型，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，这些几何模型参数就是相机标定参数，包括内、外参数以及畸变系数；

外参数矩阵W，反应相机坐标系与世界坐标系的转换，其中，R为双目相机右摄像头相对左摄像头的旋转矩阵，t为双目相机右摄像头相对左摄像头的平移向量，内参数矩阵M，反应像素坐标系与相机坐标系的转换，其中，f为透镜焦距，(u₀,v₀)为图像坐标系原点在像素坐标系下的坐标，d_x、d_y为每个像素点在图像坐标系x轴、y轴方向的尺寸：

步骤1.3：将步骤1.1中获得的标定图像上所有内角点的图像坐标，标定板图像上所有内角点的空间三维坐标作为输入，依据相机成像的几何模型，通过实验与计算求解并输出双目相机左右摄像头的内参、外参、畸变系数；

步骤1.4：将步骤1.3双目相机标定内外参数作为已知常量，将通过步骤1.1获取的坐标信息,利用校正前后的坐标关系，求解5个畸变参数k₁、k₂、k₃、p₁、p₂进行畸变矫正：

其中(x_p，y_p)是图像的原坐标，(x_tcorr，y_tcorr)是图像修正后的坐标，用r＝0处的泰勒级数展开近似描述。

4.根据权利要求2所述一种基于双目立体视觉的管道缺陷检测与定位测距系统，其特征在于，步骤二具体实现步骤如下：

步骤2.1：将双目相机旋转矩阵R划分为左右摄像头的合成旋转矩阵r₁和r₂两部分，左右摄像头各旋转一半，使得左右摄像头的光轴平行，实现左右摄像头的成像面共面；

步骤2.2：输入左右摄像头的合成旋转矩阵r₁和r₂、原始的左右摄像头内参矩阵、平移向量t以及棋盘图像的大小，调用OpenCV中cvStereoRectify函数，输出左右摄像头行对准校正旋转矩阵R₁和R₂、校正后左右摄像头内参矩阵M_l和M_r、校正后左右摄像头投影矩阵P_l和P_r以及重投影矩阵Q；

步骤2.3：将步骤2.2中的输出矩阵作为已知常量，通过左右视图的校正查找映射表，采用逆向映射，对目标图像上的每一个整形的像素位置，查找出其对应源图像上的浮点位置，并对周围源像素的每个整形值进行插值，在校正图像都被赋值之后，对图像进行裁剪，保存校正结果。

5.根据权利要求2所述一种基于双目立体视觉的管道缺陷检测与定位测距系统，其特征在于，步骤三具体实现步骤如下：

步骤3.1：数据采集，通过双目相机预先采集大量图像，拍摄包含管道缺陷的图像，自建管道缺陷数据集；

步骤3.2：数据筛选与增强，对管道缺陷数据集进行初步筛选，剔除无效数据，并对初步筛选后的图像进行数据增强操作，优化管道缺陷数据集，以便为提升训练效果；

步骤3.3：图像标注，标注可能存在的目标，生成标注文件，组织训练目录，构建训练所需的训练集、验证集以及测试集；

步骤3.4：图像训练，在预训练模型的基础上进行模型迭代，通过Jupter检测训练成果，调整参数以防止过拟合；

步骤3.5：图像推断，对图像训练完成后得到的权重进行推断，应当使用实际拍摄的画面，分析检测结果，若检测效果良好，即可使用训练得到的权重文件进行目标检测；

步骤3.6：目标检测，通过由双目相机实时捕获的图像，在不同图像细粒度上聚合并形成图像特征的卷积神经网络，混合和组合图像特征，并将图像特征传递到预测层，对图像特征进行预测，生成边界框并预测类别，最终得到管道缺陷检测信息。

6.根据权利要求2所述一种基于双目立体视觉的管道缺陷检测与定位测距系统，其特征在于，步骤四具体实现步骤如下：

步骤4.1：以经过立体校正后的双目相机左右摄像头图像为输入，在预设视差范围内进行匹配代价计算，匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性，两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大，使用BT算法作为匹配代价的计算方法，计算公式为：

通过公式可实现对经过立体校正后的双目摄像头左右摄像头图像在预设视差范围内进行匹配代价计算，得到原图像在预设视差范围内各像素点的匹配代价；

步骤4.2：以预设视差范围内计算得到的各像素点的匹配代价为输入，进行代价聚合，采用全局立体匹配算法的思路，即全局能量最优化策略，简单来说就是寻找每个像素的最优视差使得整张影像的全局能量函数最小，全局能量函数的定义如下所示：

E(d)＝E_data(d)+E_smooth(d)；

采用路径代价聚合的方法，即将像素所有视差下的匹配代价进行像素周围所有路径上的一维聚合得到路径下的路径代价值，然后将所有路径代价值相加得到该像素聚合后的匹配代价值，像素p沿着某条路径r的路径代价计算方法下所示：

其中，p代表像素，r代表路径，d代表视差，p-r代表像素p路径内的像素，L表示某一路径聚合代价值，Lr(p-r,d)表示路径内上一个像素视差为d时的代价值，Lr(p-r,d-1)表示路径内上一个像素视差为d-1时的代价值，Lr(p-r,d+1)表示路径内上一个像素视差为d+1时的代价值，min_iL_r(p-r，i)表示路径内上一个像素所有代价值的最小值；

第一项为匹配代价值C，属于数据项；

第二项是平滑项，累加到路径代价上的值取，不做惩罚、做P₁惩罚和做P₂惩罚三种情况中代价最小的值；P₁是为了适应倾斜或弯曲的表面，P₂则是为了保留不连续性。P₂往往是根据相邻像素的灰度差来动态调整，如下式所示：

P₂′为P₂的初始值，一般设置为远大于P₁的数，I_bp和和I_bq分别表示像素p和q的灰度值；

第三项是为了保证新的路径代价值Lr不超过一定数值上限，

总路径代价值S则可由下式计算：

通过上述各式计算可实现多路径的代价聚合，得到各像素在预设视差范围内的多路径代价聚合值；

步骤4.3：以各像素在预设视差范围内的多路径代价聚合值为输入，进行视差计算，视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值，采用Winner-take-all算法,即在某个像素的所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差，最终得到各像素在代价聚合后的视差；

步骤4.4：以各像素在代价聚合后的视差为输入，进行视差优化，视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误匹配、提高视差精度和抑制噪声；

剔除错误匹配采用左右一致性检查法，它基于视差的唯一性约束，即每个像素最多只存在一个正确视差，具体步骤是将左右影像互换位置，即左影像成为右影像，右影像成为左影像，再做一次立体匹配，得到另一张视差图，因为视差图中每个值所反映的是两个像素之间的对应关系，所以依据视差的唯一性约束，通过左影像的视差图，找到每个像素在右影像的同名点像素及该像素对应的视差值，这两个视差值之差的绝对值若小于1，则满足唯一性约束被保留，反之则不满足唯一性约束而被剔除，同时，采用连通域检测的方法来剔除孤立异常点，去除视差图中由于误匹配造成的小团块，过滤小的孤立的散斑，一致性检查的公式如下所示：

提高视差精度采用子像素优化技术，用二次曲线内插的方法获得子像素精度，对最优视差的代价值以及前后两个视差的代价值进行二次曲线拟合，曲线的极值点所对应的视差值即为新的子像素视差值；抑制噪声采用中值滤波，使视差结果更加平滑，一定程度上消除视差图中的噪声，同时起到视差填充的作用，通过上述步骤可实现视差优化，最终得到经过立体校正后的双目摄像头左摄像头视差图；

步骤4.5：以经过立体校正后的双目相机左摄像头视差图为输入，可进行深度计算，像素深度计算公式如下所示：

其中f为焦距长度，b为基线长度，d为视差，c_xr与c_xl为两个相机主点的列坐标，经过深度计算后，可得到经过立体校正后的双目相机左摄像头图像的深度图，结合经过深度学习目标检测得到的管道缺陷检测信息，可最终得到经过立体校正后的双目相机左摄像头图像中被识别管道缺陷映射到实际三维空间中的空间三维坐标。

Images