CN111899288B - 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法 - Google Patents

Abstract

本发明公开了一种基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法，步骤如下：首先利用工业相机采集待测区域隧道内部的红外和可见光数据；再对采集的数据进行预处理，得到初始红外和可见光图像数据，同时对红外和可见光图像进行配准；然后对配准后得到的红外和可见光数据，利用深度学习技术进行融合；再对得到的融合图像进行渗漏水的目标检测和对氧树脂异常的剔除，实现对隧道内部的渗漏水检测和识别；最后利用惯性导航系统，在无法使用外部定位系统的隧道内部实现渗漏水区域定位标记的功能。本发明方法有效解决隧道内光照条件差和环氧树脂异常对渗漏水检测的干扰问题，具有高精度、高适应性优势，为隧道内部病害回溯复检提供了基础。

Description

基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于红外可见光图像融合的隧道渗漏水区域检测与识别方法，常用于公路隧道、地下管廊等。

背景技术

随着我国公路隧道、地铁隧道、综合地下管廊等地下工程的发展，隧道渗漏水作为一种隧道中较为常见的病害引起了越来越多的关注。若不及时对渗漏水病害区域加以修补，将会严重的锈蚀隧道内部的钢筋、螺栓等金属结构，造成混凝土等相关土木结构的开裂和剥落，最终会对隧道运营造成严重的损害。

目前隧道渗漏水病害的检测主要可以分为传统人工检测方法和基于计算机视觉等技术的智能检测方法。人工检测方法主要为派遣人员定期下到隧道中，进行人工目测或者利用相机等进行数据的采集。这种检测方法需要耗费大量的人力、物力，检测结果容易受主观因素的影响，效率低下。同时地下隧道检测存在着检测区域狭小、检测环境恶劣等不定因素，容易导致危险情况的发生。随着近些年计算机视觉相关技术的发展，产生了利用相关技术进行隧道病害智能检测的方法。该方法虽然在一定程度上具有能够替代人工、节省开支并且提高检测的准确率的优势，但是隧道内部光照条件恶劣、存在大量干扰、遮挡等影响因素，对智能检测技术的应用也造成了很大的挑战。当前现存的技术主要为通过搭载可见光或者红外相机的检测小车进行隧道内部数据的采集，后台利用相关目标检测算法进行病害的识别。但是单光谱的数据采集和识别存在高误检率的问题。可见光图像虽然可以采集到目标大量的细节、纹理信息，但是由于隧道内部恶劣的光照条件，使得采集的数据存在大量的干扰。而红外图像虽然可以利用目标的热辐射信息，明确的标记出目标的位置，但是由于丢失了目标大量的细节信息，对目标的识别造成较大的影响。在这样的情况下，研究出一种能够利用两者的优势的隧道渗漏水智能检测算法是很有必要的。

发明内容

针对现有技术存在的缺陷，本发明的目的在于提供一种基于红外和可见光图像融合的隧道渗漏水区域检测和识别的方法。通过红外可见光图像的融合，将两种图像的优势结合，从而在恶劣光照条件和大量干扰因素的情况下，实现对隧道内部渗漏水区域的检测和识别。同时引入惯性导航定位系统，在无法使用外部定位系统的隧道内部，实现对渗漏水区域的标记定位。

为了达到以上目的，本发明采用以下技术方案：

一种基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法，具体包括如下步骤：

步骤1)利用工业相机采集待测区域内部的红外和可见光图像；

步骤2)对步骤1)采集的图像进行预处理，得到初始红外和可见光图像；同时对红外和可见光图像进行配准；

步骤3)对步骤2)配准后得到的红外和可见光图像，利用深度学习技术进行融合形成融合图像；

步骤4)对步骤3)得到的融合图像进行渗漏水的目标检测和对环氧树脂等异常情况的剔除，实现对隧道内部的渗漏水检测和识别；

步骤5)利用惯性导航系统，在无法使用外部定位系统的隧道内部，实现渗漏水区域离线定位标记。

优选地，所述的步骤2)中对采集的红外和可见光图像进行预处理，得到初始红外和可见光图像，同时对该初始红外和可见光图像进行配准；具体实现步骤如下：

步骤2.1)对从步骤1)采集的红外和可见光视频数据进行分割，得到所需红外和可见光图像；

步骤2.2)对原始红外和可见光图像进行降噪、均衡化、反色等预处理；

步骤2.3)对预处理后的红外和可见光图像进行边缘过滤；

步骤2.4)检测出红外和可见光图像中具有尺度不变性特征的特征点；

步骤2.5)进行红外和可见光图像的特征点匹配，得到仿射变换矩阵；匹配算法采用基于斜率一致性的特征点匹配算法；

步骤2.6)利用步骤2.5)得到变换矩阵对红外图像进行仿射变换，最终完成红外和可见光图像配准。

优选地，所述步骤2.5)中的基于斜率一致性的特征点匹配算法，具体步骤如下：

步骤2.5.1)将检测出的红外图像特征点集合；

P1{(x’₁，y’₁)，(x’₂，y’₂)…，(x’_i，y’_i)…，(x’_m，y’_m)}(i≤m)和可见光图像特征点集合；

P2{(x₁，y₁)，(x₂，y₂)…，(x_j，y_j)…，(x_n，y_n)}(j≤n)放入同一坐标系；定义k＝(y_i+N-y’_i)/(x_i-x’_i)，为图像中任意特征点之间的斜率(N为图像的列数)；

步骤2.5.2)对于P1中的每个点计算其与P2中所有点的欧氏距离，选取欧氏距离最小的点作为P1当前点的粗匹配点；

步骤2.5.3)将粗匹配点按照递增的次序排序，删除其中多对一的点对，得到新的特征点集合P1’和P2’；

步骤2.5.4)选取集合P1’和P2’中前K1个匹配点形成点对集合；

Q1{{(x’₁，y’₁)，(x₁，y₁)}，{(x’₂，y’₂)，(x₂，y₂)}…{(x’_K1，y’_K1)，(x_K1，y_K1)}}，选取前K2个匹配点形成集合Q2{{(x’₁，y’₁)，(x₁，y₁)}，{(x’₂，y’₂)，(x₂，y₂)}…{(x’_K2，y’_K2)，(x_K2，y_K2)}}，Ki＜K2；

步骤2.5.5)计算集合Q2中的所有点对的斜率，得到集合Z1；选取集合Z1中出现频数大于2的元素形成集合Z2；

步骤2.5.6)对于集合P1’和P2’，计算每个点之间的斜率；选取出斜率值在区间[ki-0.5，ki+0.5](ki∈Z2)中的点对，形成点对集合Q3；

步骤2.5.7)按照排列组合的规则遍历选取Q1集合中任意三个点对的组合，代入仿射变换模型中计算测试变换矩阵M，共有C_K1 ³种情况；对于每种情况，代入集合Q3中的点对，计算阈值D；若当前阈值小于设定阈值D0，则记当前点对为内点对；阈值计算公式为：

D＝|M*(x’₁，y’₁)-(x₁，y₁)|＜D0

步骤2.5.8)选取内点对数量最多的情况作为目标情况，此时将内点对代入求得的最佳变换矩阵；若出现最大内点对数小于3的情况，则直接将当前测试变换矩阵作为最佳变换矩阵。

优选地，所述步骤3)对步骤2)配准后得到的红外和可见光图像进行融合主要利用了深度学习中的生成对抗网络模型；其实现主要步骤为：

步骤3.1)分别建立生成模型和判别模型；生成模型有六层结构，前五层结构为残差结构，最后一层为卷积核大小1*1，卷积核个数64，步长为1的卷积层；生成模型的lossfunction定义为：

δ_G＝V(G)+λZ_content

前半部分代表了生成模型和判别模型之间的对抗损失，用于增加融合图像更多的可见光纹理信息；后半部分分别代表了像素强度的损失和梯度信息损失，用于同时保持红外热辐射和可见光信息；

判别模型总共包含7层，前6层均为卷积层，最后一层为线性激活函数，输出输入图像属于某一类图像的概率，用作分类；判别模型loss function定义为：

D(I_v)和D(I_f)分别表示可见光图像和融合后图像的分类结果，损失函数的设计是为了提高判别模型的辨别能力；

步骤3.2)利用步骤2)得到的配准后的图像训练模型；训练过程：

For迭代次数do：

For k steps do：

从生成模型中选取m幅初步融合图像

选取m幅可见光图像

通过优化loss function Z_D来更新判别模型；

End

选取m幅红外图像

选取m幅可见光图像

通过优化loss functionδ_G来更新生成模型；

End；

步骤3.3)将待测试的一组图像送入训练完成的生成模型即可得到目标融合图像。

优选地，所述步骤4)对步骤3)得到的融合图像进行渗漏水的目标检测和对氧树脂异常情况的剔除，实现对隧道内部的渗漏水检测和识别；具体是：

步骤4.1)事先利用步骤3)中得到的大量融合后的隧道渗漏水图像制作带标签的训练样本；

步骤4.2)渗漏水的检测采用Faster RCNN目标检测算法；对标准图像进行标签制作，将标准图像和对应的标签，放入Faster RCNN网络模型中进行特征学习和训练，然后得到最终的模型参数；

步骤4.3)用训练好的网络模型对待测区域进行初步检测；

步骤4.4)对初步检测结果进行环氧树脂异常情况的剔除，得到最终检测结果。

优选地，所述的步骤4.4)对初步检测结果进行环氧树脂异常剔除的主要步骤为：

步骤4.4.1)对初步检测出的目标区域进行截取，再分别将可见光和红外图像的对应的目标区域进行单独的截取；

步骤4.4.2)观察两幅图像目标区域的灰度直方图，分别计算两幅图像目标区域像素的最大差值；

步骤4.4.3)对于红外图像目标区域像素差值小于设定阈值，且可见光图像目标区域大于设定阈值的情况标记为环氧树脂检测异常，从初步检测结果中剔除该异常情况。

优选地，所述的步骤5)利用惯性导航系统，在无法使用外部定位系统的公路隧道和地下管廊内部实现渗漏水区域定位标记；所述使用的惯性导航系统通过搭载在隧道检测小车上实现其功能，其主要实现步骤为：

步骤5.1)在小车行进的路线上事先安装两种校准标签，分别为二维码和RFID标签；前者用于粗校准，后者用于精校准；RFID标签每10m距离设置一个，二维码每隔1.2m粘贴一张；

步骤5.2)从小车开始行进时，利用惯导系统采集小车运行的姿态和加速度，然后通过摄像头读取二维码位置以及RFID读写器读取RFID位置，通过卡尔曼滤波算法将这几个数据进行结合，计算出小车精确的行驶位置；

步骤5.3)对于步骤4)中渗漏水检测成功的情况记录当前时间点，并结合步骤5.2)获得的小车精确位置，从而实现渗漏水病害的精确标记定位。

优选地，所述步骤5.2)计算出小车精确的行驶位置的方法步骤如下：

步骤5.2.1)定义小车的实时状态为

和不确定性P_k，实时状态包含实时距离和速度两部分，不确定性用数据协方差表示；实时状态

具体定义如下公式：

步骤5.2.2)获取小车行进的实时加速度数据α，通过如下公式实现小车在两个二维码之间行进距离的预测：

v_k＝v_k-1+α_k-1Δt

通过上述两式，小车实时状态

和不确定性P_k可以总结为：

P_k＝AP_k-1A^T+ξ_k-1

其中ω_k-1和ξ_k-1分别为行进过程中产生的噪声，假设其为相互独立的高斯白噪声；

步骤5.2.3)当小车行至下一个二维码处，获得观测值

通过卡尔曼滤波对其进行误差修正，具体实现如下公式：

P’_k＝P_k-KHP_k

K＝P_kH^T(HP_kH^T+R_k)^-1

其中预测的状态分布

测量的状态分布

最终的状态分布

H为预测值到测量值的尺度变换矩阵；

步骤5.2.4)当小车行进至RFID标签处，其误差修正过程同步骤5.2.3)；计算出小车精确的行驶位置。

与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1.本发明能够结合红外和可见光图像的优势，在光照条件恶劣、干扰因素大量存在的公路隧道、地下管廊实现高精度的渗漏水检测，具有高精度、抗干扰能力强的优势；

2.本发明方法利用惯性导航系统实现渗漏水区域的标记和定位，利于病害的复检和修补。

附图说明

图1为本发明方法的总流程图。

图2为本发明方法的图像配准的效果图。

图3为本发明方法的图像融合模型中的生成模型结构图。

图4为本发明方法的图像融合模型中的判别模型结构图。

具体实施方式

下面结合附图和优选实施例对本发明的技术方案作进一步具体说明：

实施例一：

在本实施例中，一种基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法，具体包括如下步骤：

步骤1)利用工业相机采集待测区域内部的红外和可见光图像；

步骤2)对步骤1)采集的图像进行预处理，得到初始红外和可见光图像；同时对红外和可见光图像进行配准；

步骤3)对步骤2)配准后得到的红外和可见光图像，利用深度学习技术进行融合形成融合图像；

步骤4)对步骤3)得到的融合图像进行渗漏水的目标检测和对环氧树脂异常情况的剔除，实现对隧道内部的渗漏水检测和识别；

步骤5)利用惯性导航系统，在无法使用外部定位系统的隧道内部，实现渗漏水区域离线定位标记。

实施例二：

本实施例与实施例一基本相同，特别之处如下：

在本实施例中，参见图1-图4，一种基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法，具体包括如下步骤：

步骤1)利用工业相机采集待测区域内部的红外和可见光图像；

步骤2)对步骤1)采集的图像进行预处理，得到初始红外和可见光图像；同时对红外和可见光图像进行配准；具体实现步骤如下：

步骤2.1)对从步骤1)采集的红外和可见光视频数据进行分割，得到所需红外和可见光图像；

步骤2.2)对原始红外和可见光图像进行降噪、均衡化、反色等预处理；

步骤2.3)对预处理后的红外和可见光图像进行边缘过滤；

步骤2.4)检测出红外和可见光图像中具有尺度不变性特征的特征点；

步骤2.5)进行红外和可见光图像的特征点匹配，得到仿射变换矩阵；匹配算法采用基于斜率一致性的特征点匹配算法；所述基于斜率一致性的特征点匹配算法，具体步骤如下：

步骤2.5.1)将检测出的红外图像特征点集合；

P1{(x’₁，y’₁)，(x’₂，y’₂)…，(x’_i，y’_i)…，(x’_m，y’_m)}(i≤m)和可见光图像特征点集合；

P2{(x₁，y₁)，(x₂，y₂)…，(x_j，y_j)…，(x_n，y_n)}(j≤n)放入同一坐标系；定义k＝(y_i+N-y’_i)/(x_i-x’_i)，为图像中任意特征点之间的斜率(N为图像的列数)；

步骤2.5.2)对于P1中的每个点计算其与P2中所有点的欧氏距离，选取欧氏距离最小的点作为P1当前点的粗匹配点；

步骤2.5.3)将粗匹配点按照递增的次序排序，删除其中多对一的点对，得到新的特征点集合P1’和P2’；

步骤2.5.4)选取集合P1’和P2’中前K1个匹配点形成点对集合；

Q1{{(x’₁，y’₁)，(x₁，y₁)}，{(x’₂，y’₂)，(x₂，y₂)}…{(x’_K1，y’_K1)，(x_K1，y_K1)}}，选取前K2个匹配点形成集合Q2{{(x’₁，y’₁)，(x₁，y₁)}，{(x’₂，y’₂)，(x₂，y₂)}…{(x’_K2，y’_K2)，(x_K2，y_K2)}}，K1＜K2；

步骤2.5.5)计算集合Q2中的所有点对的斜率，得到集合Z1；选取集合Z1中出现频数大于2的元素形成集合Z2；

步骤2.5.6)对于集合P1’和P2’，计算每个点之间的斜率；选取出斜率值在区间[ki-0.5，ki+0.5](ki∈Z2)中的点对，形成点对集合Q3；

步骤2.5.7)按照排列组合的规则遍历选取Q1集合中任意三个点对的组合，代入仿射变换模型中计算测试变换矩阵M，共有C_K1 ³种情况；对于每种情况，代入集合Q3中的点对，计算阈值D；若当前阈值小于设定阈值D0，则记当前点对为内点对；阈值计算公式为：

D＝|M*(x’₁，y’₁)-(x₁，y₁)|＜D0

步骤2.5.8)选取内点对数量最多的情况作为目标情况，此时将内点对代入求得的最佳变换矩阵；若出现最大内点对数小于3的情况，则直接将当前测试变换矩阵作为最佳变换矩阵；

步骤2.6)利用步骤2.5)得到变换矩阵对红外图像进行仿射变换，最终完成红外和可见光图像配准；

步骤3)对步骤2)配准后得到的红外和可见光图像，利用深度学习技术进行融合，形成融合图像；所述步骤3)对步骤2)配准后得到的红外和可见光图像进行融合主要利用了深度学习中的生成对抗网络模型；其实现主要步骤为：

步骤3.1)分别建立生成模型和判别模型；生成模型有六层结构，前五层结构为残差结构，最后一层为卷积核大小1*1，卷积核个数64，步长为1的卷积层；生成模型的lossfunction定义为：

δ_G＝V(G)+λZ_content

前半部分代表了生成模型和判别模型之间的对抗损失，用于增加融合图像更多的可见光纹理信息；后半部分分别代表了像素强度的损失和梯度信息损失，用于同时保持红外热辐射和可见光信息；

判别模型总共包含7层，前6层均为卷积层，最后一层为线性激活函数，输出输入图像属于某一类图像的概率，用作分类；判别模型loss function定义为：

D(I_V)和D(I_f)分别表示可见光图像和融合后图像的分类结果，损失函数的设计是为了提高判别模型的辨别能力；

步骤3.2)利用步骤2)得到的配准后的图像训练模型；训练过程：

For迭代次数do：

For k steps do：

从生成模型中选取m幅初步融合图像

选取m幅可见光图像

通过优化loss function Z_D来更新判别模型；

End

选取m幅红外图像

选取m幅可见光图像

通过优化loss function δ_G来更新生成模型；

End；

步骤3.3)将待测试的一组图像送入训练完成的生成模型即可得到目标融合图像；

步骤4)对步骤3)得到的融合图像进行渗漏水的目标检测和对环氧树脂异常情况的剔除，实现对隧道内部的渗漏水检测和识别；具体步骤为：

步骤4.1)事先利用步骤3)中得到的大量融合后的隧道渗漏水图像制作带标签的训练样本；

步骤4.2)渗漏水的检测采用Faster RCNN目标检测算法；对标准图像进行标签制作，将标准图像和对应的标签，放入Faster RCNN网络模型中进行特征学习和训练，然后得到最终的模型参数；

步骤4.3)用训练好的网络模型对待测区域进行初步检测；

步骤4.4)对初步检测结果进行环氧树脂异常情况的剔除，得到最终检测结果；所述对初步检测结果进行环氧树脂异常剔除的步骤为：

步骤4.4.1)对初步检测出的目标区域进行截取，再分别将可见光和红外图像的对应的目标区域进行单独的截取；

步骤4.4.2)观察两幅图像目标区域的灰度直方图，分别计算两幅图像目标区域像素的最大差值；

步骤4.4.3)对于红外图像目标区域像素差值小于设定阈值，且可见光图像目标区域大于设定阈值的情况标记为环氧树脂检测异常，从初步检测结果中剔除该异常情况；

步骤5)利用惯性导航系统，在无法使用外部定位系统的隧道内部，实现渗漏水区域离线定位标记；所使用的惯性导航系统通过搭载在隧道检测小车上实现其功能，其主要实现步骤为：

步骤5.1)在小车行进的路线上事先安装两种校准标签，分别为二维码和RFID标签；前者用于粗校准，后者用于精校准；RFID标签每10m距离设置一个，二维码每隔1.2m粘贴一张；

步骤5.2)从小车开始行进时，利用惯导系统采集小车运行的姿态和加速度，然后通过摄像头读取二维码位置以及RFID读写器读取RFID位置，通过卡尔曼滤波算法将这几个数据进行结合，计算出小车精确的行驶位置；计算出小车精确的行驶位置的方法步骤如下：

步骤5.2.1)定义小车的实时状态为

和不确定性P_k，实时状态包含实时距离和速度两部分，不确定性用数据协方差表示；实时状态

具体定义如下公式：

步骤5.2.2)获取小车行进的实时加速度数据α，通过如下公式实现小车在两个二维码之间行进距离的预测：

v_k＝v_k-1+α_k-1Δt

通过上述两式，小车实时状态

和不确定性P_k可以总结为：

P_k＝AP_k-1A^T+ξ_k-1

其中ω_k-1和ξ_k-1分别为行进过程中产生的噪声，假设其为相互独立的高斯白噪声；

步骤5.2.3)当小车行至下一个二维码处，获得观测值

通过卡尔曼滤波对其进行误差修正，具体实现如下公式：

P’_k＝P_k-KHP_k

K＝P_kH^T(HP_kH^T+R_k)^-1

其中预测的状态分布

测量的状态分布

最终的状态分布

H为预测值到测量值的尺度变换矩阵；

步骤5.2.4)当小车行进至RFID标签处，其误差修正过程同步骤5.2.3)；计算出小车精确的行驶位置；

步骤5.3)对于步骤4)中渗漏水检测成功的情况记录当前时间点，并结合步骤5.2)获得的小车精确位置，从而实现渗漏水病害的精确标记定位。

实施例三：

在本实施例中，如图1所示，一种基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法，具体包括如下步骤：

a.利用搭载着红外可见光工业相机和惯导系统的智能检测小车进行隧道数据的采集；数据采集的隧道选用公路隧道中消防通道和电缆通道，这两类地下通道具有光照条件恶劣、人员不易进入的特点，故选用为测试区域；

b.对采集视频进行逐帧切分，选取合适的帧图像作为原始图像数据；同时对数据进行预处理；首先对红外和可见光图像进行初步切分和两类图像的大小调整，然后将带下初步调整后的红外可见光图像送入图像配准子系统，进行配准；配准的图像如图2所示；

c.对步骤b中配准后的图片进行图像融合；将配准后的图像送入图像融合子系统，进行图像融合；融合模型中的生成模型与判别模型分别如图3、图4所示；

d.首先将步骤c中的到的大量融合图像分割为训练数据集和测试数据集，并对训练数据集进行标签的制作；然后将训练数据集和对应的标签送入FasterRCNN网络模型，进行训练；最后利用测试数据集进行训练完成的模型进行测试，得到初步检测结果；

e.对步骤d中得到的渗漏水病害初步检测结果进行环氧树脂异常情况的剔除，得到最终检测结果；

f.对步骤e中的到的渗漏水病害进行标记定位；根据与检测系统一起搭载在智能检测小车的惯导系统实时记录检测系统的行进加速度，通过卡尔曼滤波得到检测系统时刻的行进距离。以此实现渗漏水病害的离线定位功能。

所述步骤b中的对预处理图像进行配准，具体如下：

首先对原始图像进行降噪、均衡化、反色等预处理。对预处理后的图像进行边缘过滤。然后检测出图像中具有尺度不变性特征的特征点。最后进行红外图像和可见光图像的特征点匹配，得到仿射变换矩阵。利用变换矩阵对红外图像进行仿射变换，最终完成配准。特征点匹配算法采用基于斜率一致性的特征点匹配算法。

所述步骤c中的图像融合子系统，具体如下：

图像融合主要采用深度学习中的生成对抗网络模型，首先分别建立生成模型和判别模型。生成模型有六层结构，前五层结构为残差结构，最后一层为卷积核大小1*1，卷积核个数64，步长为1的卷积层，具体结构如说明书附图3所示；生成模型的loss function定义为：

δ_G＝V(G)+λZ_content

判别模型总共包含7层，前6层均为卷积层，最后一层为线性函数输出输入图像输入某一类图像的概率，用作分类，具体结构如说明书附图4所示；判别模型loss function定义为：

然后利用配准后的图像训练模型。训练过程：

For迭代次数do：

For k steps do：

从生成模型中选取m幅初步融合图像

选取m幅可见光图像

通过优化loss function Z_D来更新判别模型；

End

选取m幅红外图像

选取m幅可见光图像

通过优化loss function δ_G来更新生成模型；

End

最后将待测试的一组图像送入训练完成的生成模型即可得到目标融合图像；

所述步骤e中的对初步检测结果进行环氧树脂异常的剔除，具体如下：

首先对初步检测出的目标区域进行截取，再分别将可见光和红外图像的对应的目标区域进行单独的截取。然后观察两幅图像目标区域的灰度直方图，分别计算两幅图像目标区域像素的最大差值。最后对于红外图像目标区域像素差值小于设定阈值，且可见光图像目标区域大于设定阈值的情况标记为环氧树脂检测异常，从初步检测结果中剔除该异常情况；

所述步骤f中的对最终检测结果中的渗漏水病害进行标记定位，具体如下：

首先在小车行进的路线上事先安装两种校准标签，分别为二维码和RFID标签。前者用于粗校准，后者用于精校准。RFID标签每10m距离设置一个，在两个RFID标签之间每隔1.2m左右粘贴一张二维码；然后从小车开始行进时，每隔固定时间间隔，通过惯导系统采集小车运行的姿态和加速度数据；在两个二维码之间利用卡尔曼滤波算法预测小车实时的行进距离，得到小车时刻的行进距离。当到达下一个二维码处再次利用卡尔曼滤波算法进行小车行进距离的误差修正；再然后在两个RFID标签之间反复上述步骤。当到达下一个RFID标签处，利用卡尔曼滤波算法进行小车行进距离的误差修正；最后对于渗漏水病害检测成功的情况记录当前时间点，并结合得到的小车实时的行进距离数据，从而实现渗漏水病害的标记定位。

综上所述，本发明基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法，具体包括如下步骤：步骤1)利用工业相机采集待测区域隧道内部的红外和可见光数据；步骤2)对步骤1)采集的数据进行预处理，得到初始红外和可见光图像数据。同时对红外和可见光图像进行配准；步骤3)对步骤2)配准后得到的红外和可见光数据，利用深度学习技术进行融合；步骤4)对步骤3)得到的融合图像进行渗漏水的目标检测和对氧树脂等异常的剔除，实现对隧道内部的渗漏水检测和识别；步骤5)利用惯性导航系统，在无法使用外部定位系统的隧道内部实现渗漏水区域定位标记的功能。本发明利用红外和可见光图像融合和深度学习技术，设计了一套完整的从图像采集到配准到融合再到检测的新型隧道渗漏水检测方法。能够有效解决隧道内光照条件差和环氧树脂等异常对渗漏水检测的干扰问题，具有高精度、高适应性的优势。同时解决了地铁、公路等隧道管廊中的定位问题，为隧道内部病害回溯复检提供了基础。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明基于红外和可见光图像融合的隧道渗漏水区域检测和识别的方法的技术原理和发明构思，都属于本发明的保护范围。

Claims (1)

1.一种基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法，其特征在于，具体包括如下步骤：

步骤1)利用工业相机采集待测区域内部的红外和可见光图像；

步骤2)对步骤1)采集的图像进行预处理，得到初始红外和可见光图像；同时对红外和可见光图像进行配准；

步骤3)对步骤2)配准后得到的红外和可见光图像，利用深度学习中的生成对抗网络进行融合形成融合图像；

步骤4)对步骤3)得到的融合图像进行渗漏水的目标检测和对环氧树脂异常情况的剔除，实现对隧道内部的渗漏水检测和识别，具体步骤为：

步骤4.1)事先利用步骤3)中得到的大量融合后的隧道渗漏水图像制作带标签的训练样本；

步骤4.2)融合后的隧道渗漏水图像的检测采用Faster RCNN目标检测算法；对标准图像进行标签制作，将标准图像和对应的标签，放入Faster RCNN网络模型中进行特征学习和训练，然后得到最终的模型参数；

步骤4.3)用训练好的网络模型对待测区域进行初步检测；

步骤4.4)对初步检测结果进行环氧树脂异常情况的剔除，得到最终检测结果，其中对初步检测结果进行环氧树脂异常剔除的进一步包括以下步骤；

步骤4.4.1)对初步检测出的目标区域进行截取，再分别将可见光和红外图像的对应目标区域进行单独截取；

步骤4.4.2)观察两幅图像目标区域的灰度直方图，分别计算两幅图像目标区域像素的最大差值；

步骤4.4.3)对于红外图像目标区域像素差值小于设定阈值，且可见光图像目标区域大于设定阈值的情况标记为环氧树脂检测异常，从初步检测结果中剔除该异常情况；

步骤5)利用惯性导航系统、二维码、RFID标签，在无法使用外部定位系统的隧道内部，实现渗漏水区域离线精确定位标记；所使用的惯性导航系统通过搭载在隧道检测小车上实现其功能，其主要实现步骤为：

步骤5.1)在小车行进的路线上事先安装两种校准标签，分别为二维码和RFID标签；前者用于粗校准，后者用于精校准；RFID标签每10m距离设置一个，二维码每隔1.2m粘贴一张；

步骤5.2)从小车开始行进时，利用惯性导航系统采集小车运行的姿态和加速度，然后通过摄像头读取二维码位置以及RFID读写器读取RFID位置，通过卡尔曼滤波算法将这几个数据进行结合，计算出小车精确的行驶位置；其主要实现的步骤为：

步骤5.2.1)定义小车的实时状态为

和不确定性P_k，实时状态包含实时距离和速度两部分，不确定性用数据协方差表示；实时状态

具体定义如下公式：

步骤5.2.2)获取小车行进的实时加速度数据α，通过如下公式实现小车在两个二维码之间行进距离的预测：

v_k＝v_k-1+α_k-1Δt

通过上述两式，小车实时状态

和不确定性P_k可以总结为：

P_k＝AP′_k-1A^T+ξ_k-1

其中ω_k-1和ξ_k-1分别为行进过程中产生的噪声，假设其为相互独立的高斯白噪声；

步骤5.2.3)当小车行至下一个二维码处，获得观测值

通过卡尔曼滤波对其进行误差修正，具体实现如下公式：

P′_k＝P_k-KHP_k

K＝P_kH^T(HP_kH^T+R_k)^-1

其中预测的状态分布

测量的状态分布

最终的状态分布

H为预测值到测量值的尺度变换矩阵；

步骤5.2.4)当小车行进至RFID标签处，其误差修正过程同步骤5.2.3)；计算出小车精确的行驶位置。

步骤5.3)对于步骤4)中渗漏水检测成功的情况记录当前时间点，并结合步骤5.2)获得的小车精确位置，从而实现渗漏水病害的精确标记定位。

Images