CN115761459A - 一种面向桥隧表观病害识别的多场景自适应方法 - Google Patents

Abstract

本发明公开了一种面向桥隧表观病害识别的多场景自适应方法，包括将训练图像集和目标作业场景图像集按照明亮度各分为预设数量个组别；将两组图像的各预设数量组数据一一对应进行预设数量次基于LAB空间的风格迁移，将预设数量次迁移后的预设数量个组别的训练数据集合并为新的数据集；将新数据集和目标场景图像数据集再进行基于傅里叶变换的频谱交换，交换低频信息，使两组数据在外观风格上更加相似；将经过风格迁移后的训练图像送入预设的病害识别网络中进行训练。能够在缺乏目标场景数据集标注的情况下实现，表观病害识别网络只使用已经获取到的有标注表观病害数据集进行训练就可以达到对不同的目标场景的自适应。

Description

一种面向桥隧表观病害识别的多场景自适应方法

技术领域

本发明属于计算机视觉技术领域，特别是涉及一种面向桥隧表观病害识别的多场景自适应方法。

背景技术

随着我国综合国力的提升，桥隧的建设在基础设施中占着重要的位置。桥隧工程的发展直接关系到我国交通基础设施的建设。随着时间的推移，桥隧必然会出现裂缝、地基不均匀沉降引起的病害、桥隧路面起皮和坑槽甚至脱落等表观病害。这些问题的出现大多的影响了人们出行以及运输的安全。作为交通系统的基石，越来越重视桥隧工程的病害检测。在前期施工阶段以及后期养护阶段均需要投入更多的精力。传统的检测方式大多为人工通过脚手架、扶梯、桥梁检测车和攀岩绳等。由于人工检测的不安全性以及太过耗时费力，基于深度学习的桥隧表观病害检测成为了近年来的研究热点，主要是通过CNN卷积神经网络提取病害图像特征，实现对病害的识别。近年来涌现了基于图像处理和深度学习的各种针对桥隧表观病害的检测方法。相比人工检测，利用图像算法自动识别能够更快速准确的进行病害检测判别，精准确定病害位置以及类型。作为计算机视觉领域的重点研究目标，桥隧表观病害检测的经典的图像算法有基于灰度阈值分割、边缘监测和借助特定工具等方法。众多学者对经典算法在背景干扰、光照遮挡和图像噪声等方面提出了改进算法。在裂纹识别方面有较好的表现。但随着基于卷积神经网络的分割模型的进展，基于深度学习的桥隧表观病害检测成为了近年来最大的研究热点。从最早期的基于手工特征提取与分类器组合，提取预处理后的灰度图像的纹理特征，再通过SVM分类器进行分类。但这种方法在复杂背景下很受限。随着传感技术、软件和硬件的发展，基于深度学习的表观病害检测方法已经能够自动获得特征。同时，卷积神经网络的不断加深，网络参数的不断增加，对表观病害的检测识别能力逐渐提高。有学者提出对照片矩形分块，通过一个11层的卷积神经网络进行特征提取，然后训练一个softmax层进行分类，从而检测矩形块中是否含有裂缝。更有学者将基于语义分割的并行网络引入病害检测中，能够实现更多种类的病害识别。上述的基于卷积神经网络的病害识别方法存在一个问题：使用深度学习的方法需要训练数据和其标注，在面临不同的桥隧作业场景时，现有的网络模型都需要获取到切换后的目标场景带有标注的数据。而标注图像是一件耗时费力的任务，即使用A场景的数据进行训练，在B场景进行病害识别时往往精度会大幅度下降，这是因为训练的网络适应性很差。在目标场景的图像数据量庞大标注困难时，识别方法的适应性就显得尤为重要。为解决这种问题，亟需一种面向桥隧表观病害识别的多场景自适应方法。

发明内容

针对以上技术问题，本发明提供一种面向桥隧表观病害识别的多场景自适应方法。

本发明解决其技术问题采用的技术方案是：

一种面向桥隧表观病害识别的多场景自适应方法，方法包括以下步骤：

S100：将训练图像数据集和目标场景图像数据集按照明亮度分别分为预设数量组，并按照明亮度一一对应；

S200：将对应组别的训练图像数据集和目标场景图像数据集的数据在LAB颜色空间进行风格迁移，将风格迁移后的LAB图像转换到RGB图像，将风格迁移后的预设数量组别的RGB训练图像数据集合并为新的数据集；

S300：将新数据集和目标图像数据集进行一次傅里叶变换后交换频谱，得到交换频谱后的新数据集，对交换频谱后的新数据集进行傅里叶反变换，得到处理后的训练数据集；

S400：将处理后的训练数据集送入预设的面向桥隧表现病害识别网络进行训练。

优选地，S100包括：

S110：获取训练图像数据集，将R^3×H×W的训练图像数据

图像全部转换到LAB颜色空间，即

其中L表示整个图像的亮度，A代表从绿色到红色的分量，B代表从蓝色到黄色的分量；

S120：获取目标场景图像数据集，将R^3×H×W的目标场景图像数据

图像全部转换到LAB颜色空间，即

S130：获取转换后的图像

与

的L通道的亮度矩阵，根据如下公式得到每张训练数据图片和目标场景数据图片的平均亮度值：

其中，

为

三通道中L通道的亮度矩阵，

为

三通道中L通道的亮度矩阵；

S140：根据得到的每张训练数据图片和目标场景数据图片的平均亮度值

和

将训练图像数据集和目标场景图像数据集中的图片由低亮度到高亮度排列，各分为图像数量平均的5个组，并且训练图像数据集和目标场景图像数据集的五个组别按照亮度一一对应。

优选地，S200中将对应组别的训练图像数据集和目标场景图像数据集的数据在LAB颜色空间进行风格迁移，具体为：

其中，

为转换到LAB空间的训练集图像，

表示使用平均均值、平均方差后得到的风格与目标场景相似的训练集LAB图像，μ_Si表示当前组中第i张训练集图像的均值，σ_Si表示当前组中第i张训练集图像的标准差，μ_Ti表示对应组中第i张目标场景图像的均值，σ_Ti表示对应组中第i张目标场景图像的标准差，N_S为当前组中训练场景的图像数量，N_T为对应组中目标场景图像数量。

优选地，S300中对新数据集进行一次傅里叶变换，具体为：

其中，H表示训练图像的高，W表示训练图像的宽，m、n是傅里叶变换中的频率分量，h,w表示空间域图像变量。

优选地，S300中对交换频谱后的新数据集进行傅里叶反变换，得到处理后的训练数据集，具体为：

其中，

其中，

是RGB图像傅里叶变换

的振幅和相位分量，M_β为掩码，除了中心区域β∈(0,1)外其值为零，β是一个超参数，X_T为目标场景图像数据集，x^s→t为处理后的训练数据集。

上述一种面向桥隧表观病害识别的多场景自适应方法，使用了基于明亮度分组的LAB空间的风格迁移，在色域较大的LAB颜色空间中风格迁移效果会更好，且整个过程离线进行，能够在使用缺少标注的目标场景数据且不增加网络冗余时候，使网络学习到目标场景的信息，可以充分解决在切换目标作业场景时需要重新获取该场景图像标注的问题。

与现有的桥隧表观病害识别方法相比，改变目标场景时，可以在不过多依赖目标场景数据且不改变网络结构的情况下，实现较好的病害识别效果。本发明提出的方法适用于大部分表观病害识别网络，可以简单并且直观的提升网络的适应能力。

附图说明

图1为本发明一实施例中一种面向桥隧表观病害识别的多场景自适应方法的流程图；

图2为本发明一实施例中一种面向桥隧表观病害识别的多场景自适应方法的第一流程示意图；

图3为本发明一实施例中一种面向桥隧表观病害识别的多场景自适应方法的第二流程示意图；

图4为本发明一实施例中对训练图像数据集和目标场景图像数据集按照明亮度进行分组的示意图。

实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

在一个实施例中，如图1、2和3所示，一种面向桥隧表观病害识别的多场景自适应方法，方法包括以下步骤：

S100：将训练图像数据集和目标场景图像数据集按照明亮度分别分为预设数量组，并按照明亮度一一对应。

具体地，训练数据集使用已经获取到的带标注的训练数据，目标场景图像集为未标注的目标场景图像。

在一个实施例中，S100包括：

S110：获取训练图像数据集，将R^3×H×W的训练图像数据

图像全部转换到LAB颜色空间，即

其中L表示整个图像的亮度，A代表从绿色到红色的分量，B代表从蓝色到黄色的分量；

S120：获取目标场景图像数据集，将R^3×H×W的目标场景图像数据

图像全部转换到LAB颜色空间，即

S130：获取转换后的图像

与

的L通道的亮度矩阵，根据如下公式得到每张训练数据图片和目标场景数据图片的平均亮度值：

其中，

为

三通道中L通道的亮度矩阵，

为

三通道中L通道的亮度矩阵；

S140：根据得到的每张训练数据图片和目标场景数据图片的平均亮度值

和

将训练图像数据集和目标场景图像数据集中的图片由低亮度到高亮度排列，各分为图像数量平均的5个组，并且训练图像数据集和目标场景图像数据集的五个组别按照亮度一一对应。

具体地，源域图像

的三通道由原来的R、G、B即红、绿、蓝转换为了L、A、B三通道。

如图4所示，将训练图像数据集中的图片由低亮度到高亮度排列，各分为图像数量平均的5个组，比如第一亮度组至第五亮度组，最暗的组别对应为第一亮度组，最亮的组别对应为第五亮度组，将目标场景图像数据集也按照同样的方式分为第一亮度组至第五亮度组，训练图像数据集中的第一亮度组对应目标场景图像数据集中的第一亮度组，依次类推，5个组别按照亮度一一对应。

S200：将对应组别的训练图像数据集和目标场景图像数据集的数据在LAB颜色空间进行风格迁移，将风格迁移后的LAB图像转换到RGB图像，将风格迁移后的预设数量组别的RGB训练图像数据集合并为新的数据集。

在一个实施例中，S200中将对应组别的训练图像数据集和目标场景图像数据集的数据在LAB颜色空间进行风格迁移，具体为：

其中，

为转换到LAB空间的训练集图像，

表示使用平均均值、平均方差后得到的风格与目标场景相似的训练集LAB图像，μ_Si表示当前组中第i张训练集图像的均值，

表示当前组中第i张训练集图像的标准差，

表示对应组中第i张目标场景图像的均值，

表示对应组中第i张目标场景图像的标准差，N_S为当前组中训练场景的图像数量，N_T为对应组中目标场景图像数量。

具体地，将第一亮度组的训练图像数据集和第一亮度组的目标场景图像数据集中的数据在LAB颜色空间进行风格迁移，将第二亮度组的训练图像数据集和第二亮度组的目标场景图像数据集中的数据在LAB颜色空间进行风格迁移，依次类推，将5组对应组别的数据集中的数据在LAB颜色空间进行风格迁移；5组对应的数据进行风格迁移后，将迁移后的图像

转换成RGB图像

S300：将新数据集和目标图像数据集进行一次傅里叶变换后交换频谱，得到交换频谱后的新数据集，对交换频谱后的新数据集进行傅里叶反变换，得到处理后的训练数据集。

在一个实施例中，S300中对新数据集进行一次傅里叶变换，具体为：

其中，H表示训练图像的高，W表示训练图像的宽，m、n是傅里叶变换中的频率分量，h,w表示空间域图像变量。

在一个实施例中，S300中对交换频谱后的新数据集进行傅里叶反变换，得到处理后的训练数据集，具体为：

其中，

其中，

是RGB图像傅里叶变换

的振幅和相位分量，M_β为掩码，除了中心区域β∈(0,1)外其值为零，β是一个超参数，X_T为目标场景图像数据集，x^s→t为处理后的训练数据集。

具体地，傅里叶变换和反变换主要是实现了在不改变语义内容的情况下实现了新的数据集图像和目标场景图像低频部分的转换，此步骤输入输出均为R^3×H×W。变换后的训练集图片的风格样式信息更加接近目标场景图像。

S400：将处理后的训练数据集送入预设的面向桥隧表现病害识别网络进行训练。

具体地，选用任意合适的表观病害识别网络作为表观病害识别的基础网络架构，本发明提出的方法不需要对网络进行任何更改也不依赖识别网络的性能。将R^3×H×W的经过上述处理后的训练数据集图片送入网络中训练，在缺少或缺失目标场景标注进行训练的情况下，模型也可以学习到目标场景的数据信息。

本发明提供的一种面向桥隧表观病害识别的多场景自适应方法，使用了基于明亮度分组的LAB空间的风格迁移，在色域较大的LAB颜色空间中风格迁移效果会更好，且整个过程离线进行，能够在使用缺少标注的目标场景数据且不增加网络冗余时候，使网络学习到目标场景的信息，可以充分解决在切换目标作业场景时需要重新获取该场景图像标注的问题。

与现有的桥隧表观病害识别方法相比，改变目标场景时，可以在不过多依赖目标场景数据且不改变网络结构的情况下，实现较好的病害识别效果。本发明提出的方法适用于大部分表观病害识别网络，可以简单并且直观的提升网络的适应能力。

以上对本发明所提供的一种面向桥隧表观病害识别的多场景自适应方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (5)

1.一种面向桥隧表观病害识别的多场景自适应方法，其特征在于，所述方法包括以下步骤：

S100：将训练图像数据集和目标场景图像数据集按照明亮度分别分为预设数量组，并按照明亮度一一对应；

S200：将对应组别的训练图像数据集和目标场景图像数据集的数据在LAB颜色空间进行风格迁移，将风格迁移后的LAB图像转换到RGB图像，将风格迁移后的预设数量组别的RGB训练图像数据集合并为新的数据集；

S300：将所述新数据集和所述目标图像数据集进行一次傅里叶变换后交换频谱，得到交换频谱后的新数据集，对所述交换频谱后的新数据集进行傅里叶反变换，得到处理后的训练数据集；

S400：将所述处理后的训练数据集送入预设的面向桥隧表现病害识别网络进行训练。

2.根据权利要求1所述的方法，其特征在于，S100包括：

S110：获取训练图像数据集，将R^3×H×W的训练图像数据

图像全部转换到LAB颜色空间，即

其中L表示整个图像的亮度，A代表从绿色到红色的分量，B代表从蓝色到黄色的分量；

S120：获取目标场景图像数据集，将R^3×H×W的目标场景图像数据

图像全部转换到LAB颜色空间，即

S130：获取转换后的图像

与

的L通道的亮度矩阵，根据如下公式得到每张训练数据图片和目标场景数据图片的平均亮度值：

其中，

为

三通道中L通道的亮度矩阵，

为

三通道中L通道的亮度矩阵；

S140：根据得到的每张训练数据图片和目标场景数据图片的平均亮度值

和

将所述训练图像数据集和所述目标场景图像数据集中的图片由低亮度到高亮度排列，各分为图像数量平均的5个组，并且训练图像数据集和目标场景图像数据集的五个组别按照亮度一一对应。

3.根据权利要求1所述的方法，其特征在于，S200中将对应组别的训练图像数据集和目标场景图像数据集的数据在LAB颜色空间进行风格迁移，具体为：

其中，

为转换到LAB空间的训练集图像，

表示使用平均均值、平均方差后得到的风格与目标场景相似的训练集LAB图像，μ_Si表示当前组中第i张训练集图像的均值，

表示当前组中第i张训练集图像的标准差，

表示对应组中第i张目标场景图像的均值，

表示对应组中第i张目标场景图像的标准差，N_S为当前组中训练场景的图像数量，N_T为对应组中目标场景图像数量。

4.根据权利要求3所述的方法，其特征在于，S300中对所述新数据集进行一次傅里叶变换，具体为：

其中，H表示训练图像的高，W表示训练图像的宽，m、n是傅里叶变换中的频率分量，h，w表示空间域图像变量。

5.根据权利要求4所述的方法，其特征在于，S300中对所述交换频谱后的新数据集进行傅里叶反变换，得到处理后的训练数据集，具体为：

其中，

其中，

是RGB图像傅里叶变换

的振幅和相位分量，M_β为掩码，除了中心区域β∈(0，1)外其值为零，β是一个超参数，XT为目标场景图像数据集，x^s→t为处理后的训练数据集。

Images