CN116539635A - 基于计算视觉和slam的无人机盾构隧道巡检方法 - Google Patents

Abstract

本发明公开了基于计算视觉和SLAM的无人机盾构隧道巡检方法，应用于隧道检测和无人机飞行与定位技术领域，其中包括：S1、采集隧道内的影像信息并初步建图；S2、利用计算视觉算法分析识别影像信息中的损伤；S3、建立坐标系标记位置信息，记录对应的坐标信息，最终报告损伤位置与受损情况。本发明旨在针对无人机隧道巡检任务，解决无人机在隧道内无法通过卫星定位技术定位的问题，结合计算视觉算法以有效识别损伤并标记位置，高效完成隧道检测任务；大大提高了隧道巡检的效率，也降低了人工巡检的成本与危险性。

Description

基于计算视觉和SLAM的无人机盾构隧道巡检方法

技术领域

本发明涉及隧道检测和无人机飞行与定位技术领域，更具体的说是涉及基于计算视觉和SLAM的无人机盾构隧道巡检方法。

背景技术

随着我国的交通基础设施不断完善，已投入使用的隧道数量日益增加，正在建设中的隧道数量依然十分庞大，隧道检测工作的任务量巨大，并且检测工作存在一定的危险性。无人机以其优越的机动性以及搭载设备的灵活性能成功胜任隧道检测工作，且自动化的工作流程不仅可以大大减少工作量，还保障了工作的安全性。但是，隧道环境下难以接收GPS等卫星定位信号，使得无法确定无人机的飞行位置并标记隧道的受损部位，不利于检测工作的进行。

目前在无卫星定位下无人机的定位方式主要有UWB技术，但在隧道环境下，上述定位方案的效果无法达到检测任务要求。盾构隧道内的衬砌环为标准化生产，隧道内壁管片上的螺栓孔以及管片间的缝隙具有规律性，可通过计算视觉对其识别，并可作为行驶里程的参考。SLAM算法在隧道环境下难以捕捉建筑物的棱边特征，无法精确飞行里程，在融合计算视觉的里程参考后即可实现准确定位。

因此，提出一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，旨在针对无人机隧道巡检任务，解决无人机在隧道内无法通过卫星定位技术定位的问题，结合计算视觉算法以有效识别损伤并标记位置，高效完成隧道检测任务。

为了实现上述目的，本发明提供如下技术方案：

一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，包括以下步骤：

S1、采集隧道内的影像信息并初步建图；

S2、利用计算视觉算法分析识别影像信息中的损伤；

S3、建立坐标系标记损伤位置信息，记录对应的坐标信息，最终报告损伤位置与受损情况。

上述的方法，可选的，S1的具体步骤如下：

无人机飞入待检测隧道，依托无人机搭载的视觉相机、深度相机收集隧道内的影像信息，生成深度图像，结合激光雷达对周边环境采集的距离信息利用SLAM算法实现隧道环境的初步建图，并对无人机进行定位。

上述的方法，可选的，使用相机畸变参数对图像进行矫正，径向畸变矫正公式如下式(1)，切向畸变的矫正公式如下式(2)：

式中，x为任意一点横坐标，y为任意一点纵坐标，r为任意一点与坐标原点之间的距离，k_i为径向畸变纠正系数，p_i为切向畸变纠正系数。

上述的方法，可选的，使用欧式变换实现不同坐标系之间的变换，矩阵转换关系如下式所示：

式中，(a₁，a₂，a₃)为初始坐标，(a′₁，a′₂，a′₃)为转换后坐标，(e₁，e₂，e₃)为单位正交基，经一次旋转变为(e′₁，e′₂，e′₃)，R为旋转矩阵。

上述的方法，可选的，S2的具体步骤如下：

针对S1中采集到的影像信息依托不同的机器视觉算法进行分析处理，并识别出不同的损伤类型；利用隧道衬砌混凝土底色与损伤部位较强的颜色对比将影像二值化，突出损伤部位，根据像素信息计算长度、宽度、面积等。

上述的方法，可选的，根据灰度阈值分割法将影像二值化，灰度阈值分割公式如下式：

式中，T为判断准则。

上述的方法，可选的，S3的具体步骤如下：

根据隧道衬砌排布以及自身螺栓孔的规律性，利用计算视觉算法识别出每一个标准衬砌环；根据隧道的几何特征，建立以隧道轴心为坐标轴，以隧道起始位置为坐标原点，以前进方向为坐标轴正方向，以一个标准衬砌环为一个坐标单位，建立单轴坐标系，并与S1中建立的SLAM地图相匹配；标记S2中的损伤部位，记录对应的坐标信息，再还原至具体的某一环衬砌，报告损伤位置与受损情况。

一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，处理器运行所述计算机程序以实现如上述方法的步骤。

一种计算机可读存储介质，其可读存储介质上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述方法的步骤。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，具有以下有益效果：

(1)旨在针对无人机隧道巡检任务，解决无人机在隧道内无法通过卫星定位技术定位的问题，结合计算视觉算法以有效识别损伤并标记位置，高效完成隧道检测任务。

(2)实现隧道检测的自动化，大大提高了隧道巡检的效率，也降低了人工巡检的成本与危险性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种基于计算视觉和SLAM的无人机盾构隧道巡检的方法流程图；

图2为本发明提供的盾构隧道单轴坐标系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明公开了一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，包括以下步骤：

S1，采集隧道内的影像信息并初步建图：

人工操作无人机飞入待检测隧道，依托无人机搭载的视觉相机、深度相机收集隧道内的影像信息，生成深度图像，结合激光雷达对周边环境采集的距离信息利用SLAM算法实现隧道环境的初步建图，并对无人机定位。由于飞行过程中拍摄角度的多变性以及无人机飞行过程中可能产生晃动，图像成像与实际情况有一定偏差，使用相机畸变参数对图像进行矫正，可精确计算损伤情况，径向畸变矫正公式如式(1)所示，切向畸变的矫正公式如式(2)所示：

式中，x为任意一点横坐标，y为任意一点纵坐标，r为任意一点与坐标原点之间的距离，k_i为径向畸变纠正系数，p_i为切向畸变纠正系数。

为解决无人机飞入隧道后无GPS等卫星定位系统的定位问题，本发明采用SLAM技术确定无人机在隧道内的飞行姿态和里程位置。无人机搭载的激光雷达在飞行过程中将不断向四周发射雷达信号，以探索隧道环境中的飞行边缘，扫描结果将结合无人机搭载的深度相机拍摄的深度图像还原隧道的几何模型，建立3D地图。无人机搭载的视觉相机将在飞行过程中采集隧道内的影像信息，捕捉影像中的关键帧，寻找静止不动的几何信息作为飞行过程中的参照物，并与所建立的地图匹配。无人机可根据自身与多个静止的几何参照信息的距离，确定相对位置，再经过转换还原至已建立的地图中，以解决隧道内无GPS等卫星定位系统的定位问题。SLAM过程可视为解决状态估计问题，可总结为如下式(3)所示：

式中，x_k为位姿，u_k为运动传感器的读数或输入，w_k为过程中加入的噪声，z_k，j为观测数据，y_j为路标点，v_k，j为观测中的噪声，O为集合。在SLAM过程中，因参考物的变换导致多个坐标系的出现。两坐标系之前的运动可看作一个平移加上一个旋转的过程，为统一坐标体系，将使用欧式变换实现不同坐标系之间的变换，矩阵转换关系如式(4)所示：

式中，(a₁，a₂，a₃)为初始坐标，(a′₁，a′₂，a′₃)为转换后坐标，(e₁，e₂，e₃)为单位正交基，经一次旋转变为(e′₁，e′₂，e′₃)，R为旋转矩阵。

S2，利用计算视觉算法分析识别影像信息中的损伤：

针对S1中采集到的影像信息依托不同的机器视觉算法进行分析处理，并识别出不同的损伤类型。无人机机载的相机采集的图像为RGB图像，考虑到盾构隧道内壁本身存在的螺栓孔与管片间的缝隙，且螺栓孔与管片间的缝隙为直线构成的规则图像，而隧道内的损伤部位为无规律的不规则图形，因此先结合像素RGB信息与深度信息，融合灰度阈值分割法、边缘分割法等图像分割算法将上述螺栓孔与管片间的间隙进行图像分割，再利用隧道衬砌混凝土底色与损伤部位较强的颜色对比，根据灰度阈值分割法将影像二值化，将损伤部位像素更改为白色，其余背景像素更改为黑色，突出损伤部位。为了增加对螺栓孔、管片间缝隙识别的准确度，由深度相机收集的深度信息将融合至图像分割算法中，为每一个像素点增加深度维度的信息。根据像素信息与实际物体的比例，对图像中的几何信息加以修正，达到计算长度、宽度、面积等目的。灰度阈值分割公式如式(5)所示：

式中，T为判断准则。

对于渗漏等有以一定面积的损伤，本发明将基于Canny边缘检测算法进行损伤识别。首先利用滤波器将采集的隧道内壁影像信息去除噪声，使图像平滑，并将影像变为灰度图像。去噪后利用梯度计算公式计算各像素点的梯度信息，获取可能边缘，去除非边缘点，并判断某一点是否为正(负)梯度方向中的局部最大值，是则保留，否则将该点归零。为去除因噪声产生的虚边缘，将设置梯度范围去除虚边缘。梯度计算公式如式(6)所示：

式中，G_x为x方向的一阶导数值，G_y为y方向的一阶导数值，G为该像素点的梯度大小，θ为梯度方向。

S3，建立坐标系标记位置信息：

盾构隧道内由相同的标准衬砌环拼接而成，标准衬砌环间的缝隙以及衬砌上的螺栓孔有一定规律，根据隧道衬砌排布以及自身螺栓孔的规律性，可利用计算视觉算法识别出每一个标准衬砌环。如S2步骤中所述，根据像素灰度以及深度信息，将隧道内壁的图像进行分割，消除隧道内壁本身螺栓孔以及管片间缝隙的识别标记，使得识别图像光滑，不受螺栓孔、管片缝隙的干扰。如图2所示，根据隧道的几何特征，可建立以隧道轴心为坐标轴，以隧道起始位置为坐标原点，以前进方向为坐标轴正方向，以一个标准衬砌环为一个坐标单位，建立单轴坐标系，坐标系内坐标记为(x)，并与S1中建立的SLAM地图相匹配，则三维坐标(a₁，a₂，a₃)转变为(a₁)。若以第1环标准衬砌环为坐标起始位置，则坐标(n)表示第x+1环标准衬砌环。标记S2中的损伤部位后，记录对应的坐标信息，再根据上述坐标转换关系还原至具体的某一环衬砌，报告损伤位置与受损情况。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，其特征在于，包括以下步骤：

S1、采集隧道内的影像信息并初步建图；

S2、利用计算视觉算法分析识别影像信息中的损伤；

S3、建立坐标系标记损伤位置信息，记录对应的坐标信息，最终报告损伤位置与受损情况。

2.根据权利要求1所述的一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，其特征在于，

S1的具体步骤如下：

无人机飞入待检测隧道，依托无人机搭载的视觉相机、深度相机收集隧道内的影像信息，生成深度图像，结合激光雷达对周边环境采集的距离信息利用SLAM算法实现隧道环境的初步建图，并对无人机进行定位。

3.根据权利要求2所述的一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，其特征在于，

使用相机畸变参数对图像进行矫正，径向畸变矫正公式如下式(1)，切向畸变的矫正公式如下式(2)：

式中，x为任意一点横坐标，y为任意一点纵坐标，r为任意一点与坐标原点之间的距离，k_i为径向畸变纠正系数，p_i为切向畸变纠正系数。

4.根据权利要求2所述的一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，其特征在于，

使用欧式变换实现不同坐标系之间的变换，矩阵转换关系如下式所示：

式中，(a₁,a₂,a₃)为初始坐标，(a'₁,a'₂,a'₃)为转换后坐标，(e₁,e₂,e₃)为单位正交基，经一次旋转变为(e'₁,e'₂,e'₃)，R为旋转矩阵。

5.根据权利要求1所述的一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，其特征在于，

S2的具体步骤如下：

针对S1中采集到的影像信息依托不同的机器视觉算法进行分析处理，并识别出不同的损伤类型；利用隧道衬砌混凝土底色与损伤部位较强的颜色对比将影像二值化，突出损伤部位，根据像素信息计算长度、宽度、面积等。

6.根据权利要求5所述的一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，其特征在于，

根据灰度阈值分割法将影像二值化，灰度阈值分割公式如下式：

式中，T为判断准则。

7.根据权利要求1所述的一种基于计算视觉和SLAM的无人机盾构隧道巡检方法，其特征在于，

S3的具体步骤如下：

根据隧道衬砌排布以及自身螺栓孔的规律性，利用计算视觉算法识别出每一个标准衬砌环；根据隧道的几何特征，建立以隧道轴心为坐标轴，以隧道起始位置为坐标原点，以前进方向为坐标轴正方向，以一个标准衬砌环为一个坐标单位，建立单轴坐标系，并与S1中建立的SLAM地图相匹配；标记S2中的损伤部位，记录对应的坐标信息，再还原至具体的某一环衬砌，报告损伤位置与受损情况。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，处理器运行所述计算机程序以实现如权利要求1-7任一项所述方法的步骤。

9.一种计算机可读存储介质，其可读存储介质上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。