CN115760720A - 基于移动设备与超分重建分割网络的裂缝在线检测方法及系统 - Google Patents

Abstract

本发明公开了基于移动设备与超分重建分割网络的裂缝在线检测方法及系统，通过移动设备上的高清视频采集仪对待检测结构的表面进行扫描，将采集到的视频进行压缩后在线传输到检测工作站；由工作站内超分辨率重建分割网络模型的特征相似性模块计算单图像超分辨率模块输出的裂缝特征图像与语义分割超分辨率模块输出的裂缝特征图像之间的相似度，并用相似度指导语义分割超分辨率模块学习高分辨率表示；再用训练好的单图像超分辨率模块、语义分割超分辨率模块对待分割裂缝图像进行超分辨率重建与语义分割。相比现有技术，本技术方案可对高清视频进行压缩达到实时检测的效果，其超分辨率重建分割网络模型分割出的裂缝形状更加准确。

Description

基于移动设备与超分重建分割网络的裂缝在线检测方法及 系统

技术领域

本发明涉及结构表面裂缝智能检测领域，尤其涉及基于移动设备与超分重建分割网络的裂缝在线检测方法及系统。

背景技术

在过去十几年中，基于视觉的结构损伤检测方法在监测包括桥梁、公路、铁路及隧道等在内的民用基础设施方面受到了极大的关注。在结构周期性检查过程中，裂缝信息为建筑工程的安全性及耐久性评估提供了重要依据，因此准确的检测分析裂缝对建筑物的合理维护具有重要意义。一套自主裂缝检测系统有助于减少操作中的人为参与，降低成本，从而提高检测系统的可靠性和效率。基于计算机视觉的裂缝检测技术具有简单易操作、非接触式和对观测数据的解释更直观等优势，其已被广泛应用于实际工程现场。人们将数码相机与各种类型的无人机和爬壁机器人相结合用于检测目标基础设施中的裂缝。裂缝检测能力在很大程度上取决于数字图像的质量和像素分辨率。数字图像质量和分辨率可以根据数据采集条件而变化，例如工作距离、拍摄角度、压缩倍数和操作振动。使用移动设备从结构获取的数字图像在质量和分辨率上可能无法保证精确检测微小裂缝，同时若拍摄采用的分辨率极高，同步检测时高分辨率视频需要大量带宽以满足数据传输要求。现实中，为了安全应该将移动设备与目标结构保持一定的工作距离，但是对应工作距离的像素分辨率可能不足以进行微裂缝可视化。因此，数字图像的噪声、模糊及分辨率不足可能导致自动裂缝检测能力的下降，从数字图像中提取的裂缝形状特征不够准确。

因此，现有的自动裂缝检测方法由于拍摄到的像素不高、视频压缩传输过程中的损失，导致从数字图像中提取的裂缝形状特征不够准确已成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种基于移动设备与超分重建分割网络的裂缝在线检测方法及系统，用于解决现有的自动裂缝检测方法由于拍摄到的像素不高，导致从数字图像中提取的裂缝形状特征不够准确的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种基于移动设备与超分重建分割网络的裂缝在线检测方法，包括以下步骤：

结构表观检测视频数据的采集：将高清视频采集仪与测距仪安装在移动设备上，对待检测结构的表面进行扫描，将扫描得到的、待检测结构的表面视频进行压缩后在线传输到检测工作站；

构建并训练超分辨率重建分割网络模型；所述超分辨率重建分割网络模型包括：单图像超分辨率模块、语义分割超分辨率模块以及特征相似性模块；所述特征相似性模块用于在所述超分辨率重建分割网络模型训练时，计算所述单图像超分辨率模块训练输出的裂缝特征图像与语义分割超分辨率模块训练输出的裂缝特征图像之间的相似度，并用所述相似度指导语义分割超分辨率模块学习高分辨率表示；所述单图像超分辨率模块与所述语义分割超分辨率模块连接，所述单图像超分辨率模块、语义分割超分辨率模块均与所述特征相似性模块连接，所述单图像超分辨率模块用于输入裂缝图像，并输出所述裂缝图像的超分辨率图像给所述语义分割超分辨率模块，所述语义分割超分辨率模块用于接受所述裂缝图像的超分辨率图像，并输出所述超分辨率图像的超分辨语义分割图；

从所述检测工作站获取压缩视频中的视频帧图像，将所述待分割裂缝图像输入至训练好的超分辨率重建分割网络模型中，得到所述待分割裂缝图像的超分辨率语义分割图。

优选的，结构表观检测视频数据的采集，包括以下步骤：

高清视频采集仪实时采集待检测结构表面的视频图像，测距仪记录每张视频帧图像对应的采集设备与结构表面的距离；搭建计算机中心，并使用所述计算机中心配置工作站，以所述工作站为载体，构建并训练超分辨率重建分割网络模型，将高清视频进行压缩后实时传输到工作站进行检测。

优选的，训练超分辨率重建分割网络模型，包括以下步骤：

从历史数据中获取裂缝训练图像、其对应的标准超分辨率图像以及标准语义分割图；

将所述裂缝训练图像及其对应的标准超分辨率图像输入到单图像超分辨率模块中进行训练，根据所述单图像超分辨率模块训练输出的超分辨图像与其对应的标准超分辨率图像计算所述单图像超分辨率模块的第一损失；

将所述裂缝训练图像及其对应的标准语义分割图输入到语义分割超分辨率模块中进行训练，根据所述语义分割超分辨率模块训练输出的语义分割图像与其对应的标准语义分割图像计算所述语义分割超分辨率模块的第二损失；

特征相似性模块计算所述单图像超分辨率模块训练输出的超分辨图像与其对应所述语义分割超分辨率模块训练输出的语义分割图像之间的特征相似度；

再根据所述第一损失、第二损失以及所述特征相似度矩阵计算所述超分辨率重建分割网络模型的总损失，调整所述超分辨率重建分割网络模型的训练参数以实现总损失最小，得到训练好的超分辨率重建分割网络模型。

优选的，根据所述第一损失、第二损失以及所述特征相似度计算所述超分辨率重建分割网络模型的总损失，通过以下公式实现：

L_total＝L_ce+w₁L_mse+w₂L_fa；

其中，L_total为总损失，L_ce为第二损失，L_mse为第一损失，L_fa为特征相似度，w₁为第一损失的权重，w₂为第二损失的权重；

优选的，所述第一损失L_mse的计算方式为：

其中，SISR(X_i)为单图像超分辨率模块训练输出的第i个超分辨图像，Y_i为第i个超分辨图像对应的标准超分辨率图像；N为单图像超分辨率模块的训练样本总数。

所述第二损失L_ce的计算方式为：

L_ce＝w₃L_Bce+w₄L_Dice；

L_Bce为所述语义分割超分辨率模块的二分类交叉熵损失；L_Dice为所述语义分割超分辨率模块的Dice损失，w₃与w₄为平衡Bce损失和Dice损失之间重要性的权重系数。

优选的，从历史数据中获取裂缝训练图像、其对应的标准超分辨率图像以及标准语义分割图，包括以下步骤：

拍摄不同种类裂缝不同分辨率的图像：对于同一裂缝的图像，将分辨率低的图像作为训练图像，分辨率高的图像作为对应的标准超分辨率图像，对所述标准超分辨率图像中的裂缝进行像素级标注，再对标注后的标准超分辨率图像进行二值化处理，得到所述训练图像的标准语义分割图。

优选的，所述超分辨率重建分割网络模型为U型编-解码器网络结构，所述U型编-解码器网络结构的主干网络采用ResNet152；解码器模块采用ESPCN设计，且输出尺寸与所述语义分割超分辨率模块的输出尺寸一致；所述单图像超分辨率模块、语义分割超分辨率模块共用所述超分辨率重建分割网络模型的特征提取模块以及编码器模块，且所述第一损失函数用于优化所述U型编-解码器网络结构的解码器模块。

优选的，在构建并训练超分辨率重建分割网络模型时，还包括以下步骤：

构建并训练超参数不同的多个超分辨率重建分割网络模型，从峰值信噪比、结构相似性、F1-score以及交并比这四个指标对训练好的多个超分辨率重建分割网络模型进行评分，从所述的多个超分辨率重建分割网络模型中选取评分最高的超分辨率重建分割网络模型作为最优模型，并使用最优模型对待分割裂缝图像进行超分辨率重建与语义分割。

优选的，从峰值信噪比、结构相似性、F1-score以及交并比这四个指标对训练好的多个超分辨率重建分割网络模型进行评价，通过以下公式实现：

S＝λ₁PSNR+λ₂SSIM+λ₃(F1-score)+λ₄IoU

其中，S表示评分；PSNR表示单图像超分辨率模块的峰值信噪比；SSIM表示单图像超分辨率模块的结构相似性；F1-score表示语义分割超分辨率模块的平衡F分数，是精确率和召回率的调和平均数；IoU表示语义分割超分辨率模块的交并比，λ₁、λ₂、λ₃、λ₄分别代表PSNR、SSIM、F1-score、IoU的权重。

优选的，在得到所述待分割裂缝图像的超分辨率语义分割图后，还包括以下步骤：

采用中轴变换算法对待分割裂缝图像的超分辨率语义分割图进行处理，得到待分割裂缝图像中裂缝的骨架和以像素为单位的裂缝特征值；

根据待分割裂缝图像的图像采集仪器中记录的图像距离及已知的相机参数，计算所述裂缝特征值的真实大小；

根据所述裂缝所在结构的应用场景以及所述裂缝特征值的真实大小对所述裂缝的危险程度进行评估。

一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现方法的步骤。

本发明具有以下有益效果：

1、本发明中的基于移动设备与超分重建分割网络的裂缝在线检测方法及系统，通过将高清视频采集仪与测距仪安装在移动设备上，对待检测结构的表面进行扫描，将采集到的视频进行压缩后在线传输到检测工作站；构建超分辨率重建分割网络模型，并在训练时，通过超分辨率重建分割网络模型的特征相似性模块计算所述单图像超分辨率模块输出的裂缝特征图像与语义分割超分辨率模块输出的裂缝特征图像之间的相似度，并用所述相似度指导语义分割超分辨率模块学习高分辨率表示；再用训练好的单图像超分辨率模块、语义分割超分辨率模块对待分割裂缝图像进行超分辨率重建与语义分割，得到待分割裂缝图像的超分辨率语义分割图。相比现有技术，本技术方案可对高清视频进行压缩达到实时检测的效果，其超分辨率重建分割网络模型分割出的裂缝形状更加准确，实现了更高精度、更快速度的移动在线裂缝检测。

2、在优选方案中，本技术方案通过构建并训练超参数不同的多个超分辨率重建分割网络模型，从峰值信噪比、结构相似性、F1-score以及交并比这四个指标对训练好的多个超分辨率重建分割网络模型进行评分，从所述的多个超分辨率重建分割网络模型中选取评分最高的超分辨率重建分割网络模型作为最优模型，并使用最优模型对待分割裂缝图像进行超分辨率重建与语义分割，能进一步提高超分辨率重建分割网络模型输出的裂缝形状的准确性。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例中的基于移动设备与超分重建分割网络的裂缝在线检测方法的流程图。

图2是本发明优选实施例中的超分辨率重建分割网络结构图。

图3是本发明优选实施例中的部分语义分割数据集展示图。

图4是本发明优选实施例中的不同倍数下的超分辨率图像语义分割结果对比图。

图5是本发明优选实施例中的基于移动设备与超分重建分割网络的裂缝在线检测方法与其他方法的语义分割结果对比图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一：

在本实施例中，公开了一种基于移动设备与超分重建分割网络的裂缝在线检测方法，包括以下步骤：

结构表观检测视频数据的采集：将高清视频采集仪与测距仪安装在移动设备上，对待检测结构的表面进行扫描，将扫描得到的、待检测结构的表面视频进行压缩后在线传输到检测工作站；

构建并训练超分辨率重建分割网络模型；所述超分辨率重建分割网络模型包括：单图像超分辨率模块、语义分割超分辨率模块以及特征相似性模块；所述特征相似性模块用于在所述超分辨率重建分割网络模型训练时，计算所述单图像超分辨率模块训练输出的裂缝特征图像与语义分割超分辨率模块训练输出的裂缝特征图像之间的相似度，并用所述相似度指导语义分割超分辨率模块学习高分辨率表示；所述单图像超分辨率模块与所述语义分割超分辨率模块连接，所述单图像超分辨率模块、语义分割超分辨率模块均与所述特征相似性模块连接，所述单图像超分辨率模块用于输入裂缝图像，并输出所述裂缝图像的超分辨率图像给所述语义分割超分辨率模块，所述语义分割超分辨率模块用于接受所述裂缝图像的超分辨率图像，并输出所述超分辨率图像的超分辨语义分割图；

从所述检测工作站获取压缩视频中的视频帧图像，将所述待分割裂缝图像输入至训练好的超分辨率重建分割网络模型中，得到所述待分割裂缝图像的超分辨率语义分割图。

此外，在本实施中还公开了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现方法的步骤。

通过将高清视频采集仪与测距仪安装在移动设备上，对待检测结构的表面进行扫描，将采集到的视频进行压缩后在线传输到检测工作站；构建超分辨率重建分割网络模型，并在训练时，通过超分辨率重建分割网络模型的特征相似性模块计算所述单图像超分辨率模块输出的裂缝特征图像与语义分割超分辨率模块输出的裂缝特征图像之间的相似度，并用所述相似度指导语义分割超分辨率模块学习高分辨率表示；再用训练好的单图像超分辨率模块、语义分割超分辨率模块对待分割裂缝图像进行超分辨率重建与语义分割，得到待分割裂缝图像的超分辨率语义分割图。相比现有技术，本技术方案可对高清视频进行压缩达到实时检测的效果，其超分辨率重建分割网络模型分割出的裂缝形状更加准确，实现了更高精度、更快速度的移动在线裂缝检测。

实施例二：

实施例二是实施例一的优选实施例，其与实施例一的不同之处在于，对基于移动设备与超分重建分割网络的裂缝在线检测方法的具体步骤进行了优化：

在本实施例中，如图1所示，公开了一种基于移动设备与超分重建分割网络的裂缝在线检测方法，该方法采用高清视频采集仪实时采集待检测结构表面的视频图像，测距仪记录每张视频帧图像对应的采集设备与结构表面的距离；搭建计算机中心，并使用所述计算机中心配置工作站，以所述工作站为载体，构建并训练超分辨率重建分割网络模型，将高清视频进行压缩后实时传输到工作站进行检测。

具体包括以下步骤：

步骤一：构建用于超分辨率重建的数据集

采用高清视频采集仪实时采集待检测结构表面的视频图像作为原始样本数据，测距仪记录每张视频帧图像对应的采集设备与结构表面的距离；搭建计算机中心，并使用所述计算机中心配置工作站，将高清视频进行压缩后实时传输到工作站进行检测，对采集的原始样本数据进行数据增强，建立一一对应的高低分辨率数据集用于训练、验证及测试；

构建用于超分辨率重建的数据集，数据集包含同一位置同一裂缝的不同分辨率下的图片，因此通过固定数码相机位置后调整相机分辨率来进行采集图像，分辨率分别选择320×240，640×480，1280×960三种。其中，分辨率320×240的裂缝图像作为低分辨率数据集中的训练图像，分辨率为640×480的裂缝图像作为2倍高分辨率数据集中的标准超分辨率图像，分辨率为1280×960的裂缝图像作为4倍高分辨率数据集中的标准超分辨率图像。采集过程中共对500个裂缝进行图像采集。

构建用于语义分割的数据集，数据集包含2倍与4倍的高分辨率数据集中裂缝的语义分割图像，采用标注工具Lableme对图像中的裂缝进行像素级标注。然后对标注结果图像进行二值化转化，最终图像中裂缝位置标注为白色，像素点值为255，其他背景均标注为黑色，像素点值为0，得到标准语义分割图。其中，构建的数据集如图3所示。

在制作深度学习数据集时，选取全部采集数据的10％作为测试集，剩余数据中80％作为训练集、20％作为验证集。测试集不需要进行数据增强，剩余数据中在进行数据增强时，主要方式有翻转，旋转，裁剪，变形，缩放等各类几何操作。

步骤二：以所述工作站为载体，构建并训练超分辨率重建分割网络模型

(1)构建超分辨率重建分割网络模型：

如图2所示，所述超分辨率重建分割网络模型为U型编-解码器网络结构，包括特征提取模块、编码器模块、单图像超分辨率模块(SISR)、语义分割超分辨率模块(SSSR)、解码器模块以及特征相似性模块(FA)；所述特征提取模块与所述编码器模块连接，所述编码器模块还分别与所述单图像超分辨率模块、语义分割超分辨率模块连接，所述单图像超分辨率模块还与所述语义分割超分辨率模块连接，所述语义分割超分辨率模块还与所述解码器模块连接，所述特征相似性模块还分别与所述单图像超分辨率模块、语义分割超分辨率模块连接；所述U型编-解码器网络结构的主干网络采用ResNet152；解码器模块采用ESPCN设计，且输出尺寸与所述语义分割超分辨率模块的输出尺寸一致；所述单图像超分辨率模块、语义分割超分辨率模块共用所述超分辨率重建分割网络模型的特征提取模块以及编码器模块；

其中，语义分割超分辨率模块，在传统语义分割模型的最后额外增加一层上采样模块，最后将输出多倍原图大小的语义分割图。例如，输入512×1024大小的图片，将输出1024×2048大小，比输入图像大2倍。其他语义分割方法训练和测试图片尺寸一般为512×1024，然后在后处理阶段将其放大为1024×2048，然而本文的方法可以充分利用groundtruth，避免了预处理导致的有效标签信息丢失。

仅依靠解码器模块还不足以恢复使用原始图像作为输入获得的类似高分辨率语义特征表示。由于解码器是简单的双线性上采样层或子网络，由于输入图片的分辨率较低，因此不会包含任何其他信息。单图像超分辨率模块的目的是根据低分辨率的输入重建高分辨率图像，可以在低分辨率输入下有效地重建图像的细粒度结构信息，这对于语义分割总是有帮助的。利用从单图像超分辨率模块提取的高分辨率特征来指导语义分割超分辨率模块的高分辨率表示的学习，这些细节可以通过内部像素之间的相关性或关系进行建模，关系学习可以弥补解码器的简单设计问题。而且其只辅助训练，在推断的时候整个模块会被自动移除。该模块的编码器部分与语义分割超分辨率模块是共享的，解码器部分采用了ESPCN的设计。最后的输出与语义分割超分辨率模块的输出尺寸一致。

由于单图像超分辨率模块比语义分割超分辨率模块包含更完整的结构信息，因此引入特征相似性学习来指导语义分割超分辨率模块学习高分辨率表示。特征相似性模块旨在学习单图像超分辨率模块和语义分割超分辨率模块之间的相似度矩阵的距离，其中，相似度矩阵主要描述像素之间的成对关系。

将超分辨率的思想整合到现有的语义分割中，从而制定了语义分割超分辨率模块。然后，通过具有特征相似性模块进行单图像超分辨率模块的细粒度结构表示，进一步增强了语义分割超分辨率模块的高分辨率功能。此外，这两个部分共享相同的特征提取器，并且在训练过程中使用重建监督对单图像超分辨率模块进行了优化，在推理阶段可以将其从网络中自由删除，从而节省了开销。

(2)超分辨率重建分割网络模型的训练步骤如下：

将所述裂缝训练图像及其对应的标准超分辨率图像输入到单图像超分辨率模块中进行训练，根据所述单图像超分辨率模块训练输出的超分辨图像与其对应的标准超分辨率图像计算所述单图像超分辨率模块的第一损失；

将所述裂缝训练图像及其对应的标准语义分割图输入到语义分割超分辨率模块中进行训练，根据所述语义分割超分辨率模块训练输出的语义分割图像与其对应的标准语义分割图像计算所述语义分割超分辨率模块的第二损失；

特征相似性模块计算所述单图像超分辨率模块训练输出的超分辨图像与其对应所述语义分割超分辨率模块训练输出的语义分割图像之间的特征相似度；

再根据所述第一损失、第二损失以及所述特征相似度矩阵计算所述超分辨率重建分割网络模型的总损失，调整所述超分辨率重建分割网络模型的训练参数以实现总损失最小，得到训练好的超分辨率重建分割网络模型。

在训练的过程中，选择某一倍数的数据集，在网络中输入低分辨率裂缝图像后，超分辨率重建分支输出的为超分辨率裂缝图像，通过损失函数计算其与相应的倍数下的高分辨率裂缝图像的误差大小，通过误差大小优化该分支解码器网络参数(卷积核中的具体核参数等)；语义分割超分辨率模块输出的为对应倍数下的高分辨率语义分割图，通过损失函数计算其与裂缝标签的误差大小，通过误差对网络参数进行优化训练。

具体的，所述超分辨率重建分割网络模型的总损失计算公式如下：

L_total＝L_ce+w₁L_mse+w₂L_fa；

其中，L_total为总损失，L_ce为第二损失，L_mse为第一损失，L_fa为特征相似度，w₁为第一损失的权重，w₂为第二损失的权重；

具体的，所述第一损失L_mse的计算方式为：

其中，SISR(X_i)为单图像超分辨率模块训练输出的第i个超分辨图像，Y_i为第i个超分辨图像对应的标准超分辨率图像；N为单图像超分辨率模块的训练样本总数。

所述第二损失L_ce的计算方式为：

L_ce＝w₃L_Bce+w₄L_Dice；

L_Bce为所述语义分割超分辨率模块的二分类交叉熵损失；L_Dice为所述语义分割超分辨率模块的Dice损失，w₃与w₄为平衡Bce损失和Dice损失之间重要性的权重系数。

网络中语义分割分支设计了一种交叉熵损失与Dice损失相结合的组合损失函数，可以解决裂缝分割网络训练过程中像素样本不均衡的问题。将Bce和Dice损失函数结合起来可以很好地适应于裂缝分割模型，两者组成的组合损失函数在关注像素级别的同时也能关注图像级别的显著性，使得模型训练稳定且能有效处理裂缝像素正负样本不平衡的问题。

步骤三：选取超分辨率重建分割网络模型的最优超参数，得到最优模型

为了选出最优的超参数(学习率、批量大小、输入尺寸大小、优化器、卷积核尺寸及数量等)组合，及其在最优超参数组合下的最优模型。因此需要在模型进行训练完成后，在验证集中进行模型验证，分别对不同超参数组合下的多个超分辨率重建分割网络模型进行评分，选取性能评分最好的超参数组合下超分辨率重建分割网络模型作为最优模型；其中，评分从裂缝图像的超分辨率重建效果与语义分割精度对模型性能进行评估。其中，超分辨率重建效果的评价指标为峰值信噪比(PSNR)与结构相似性(SSIM)，语义分割精度评价指标选取F1-score、交并比(IoU)两个指标。

PSNR基于两幅图像像素间的差异性，提供了一种衡量两幅图像相似性的客观指标，值越大说明图像的失真越小；SSIM是一种更加符合人类视觉的图像质量评价标准，结合图像的亮度、对比度、结构评估两幅图像的相似度，其值越接近1，说明生成图像的质量越好。

其中，PSNR计算公式为：

其中，SSIM计算公式为：

其中，W、H、C分别表示图片的宽度、长度及通道数，X表示SR图像，Y表示原始图像。MAX_I是图像中可能的最大像素值。如果每个采样点有8位表示，MAX_I＝255。μ_x、μ_y分别表示图像X、Y的均值，σ_x、σ_y分别表示图像X、Y的方差，σ_xy表示图像X、Y的协方差，C₁和C₂都是常数，用来避免分母为零。

其中，F1-score计算公式为：

其中，IoU的计算公式为：

其中，True positive(TP)为正确检测到裂缝的像素点个数，False positive(FP)为非裂缝区域误检为裂缝的像素点个数，False negative(FN)为未正确检测到裂缝的像素点个数，N是测试集中的样本数量。

为了更加客观地通过四个评价指标对模型性能做出评估，采用加权平均的方法计算模型性能评分，其计算公式为：

S＝λ₁PSNR+λ₂SSIM+λ₃(F1-score)+λ₄IoU

其中，λ₁、λ₂、λ₃、λ₄分别代表PSNR、SSIM、F1-score、IoU的权重，最终根据最高评分选出最优模型。

步骤四：利用无人机或爬壁机器人对结构表面裂缝进行采集，使用训练得到的最优模型对新采集的裂缝图像进行超分辨率重建与语义分割

利用无人机或爬壁机器人对结构表面裂缝进行采集，在采集图像的同时通过激光雷达测量出采集仪器成像点到待测结构表面的距离。选择需要重建的倍数，选取对应倍数下的最优训练模型，将采集图像进行预处理后输入到最优训练模型中，得到新采集裂缝图像的超分辨率重建图像与对应倍数分辨率下的语义分割图像。

如图4-图5所示，本技术方案中的最优模型分割出的裂缝图可以在对低分辨率及模糊的裂缝图像中的微裂缝进行准确的语义分割。

步骤五：根据图像采集仪器中得到的图像距离，对上述得到的语义分割结果进行骨架提取并量化其特征值(长度、宽度等)，最终根据相应规范对上述得到的裂缝特征值进行危险程度评估

通过改进中轴变换(MAT)算法对图像中的裂缝进行骨架提取，提取到的信息包含一个点集和点集对应的最小距离l_d，MAT是一种常用的目标骨架提取技术，根据提取到的骨架及轮廓信息，可以得到以像素为单位的裂缝长度、宽度及面积等形态特征。

通过裂缝骨架提取可以得到单像素宽度的裂缝骨架，其中，裂缝骨架的长度与原始裂缝的长度相同。由于裂缝形状复杂且不规则，提取的裂缝骨架线并不是简单的直线，因此采取分段求和的方法计算裂缝长度。裂缝骨架的自适应分割使每条曲线被分割成一系列裂缝段，每个裂缝段的长度可以定义为两个端点之间的欧几里得距离。通过累加所有裂缝段的长度，可以得到整个裂缝曲线的总长度。定义如下：

其中，n表示裂缝骨架分割段数，(x_i1，y_i1)，(x_i2，y_i2)分别表示第i段裂缝的起点坐标与终点坐标。

提取的信息中包含骨架上每个点到边界点的最小距离l_d，可得出裂缝最大宽度max_width的计算公式为：max_width＝2×Max(l_d)。

根据分割图中裂缝像素点的数量得出裂缝的面积，平均宽度的计算公式如下：

在相机成像轴向方向加装三点激光测距仪，激光测距仪与相机快门同步测量物距L，即测距仪与被测目标之间的距离。根据透镜成像原理有：

式中，L'为像距；f为镜头焦距。设A'为目标实际尺寸，即裂缝实际物理宽度；A'为成像尺寸则有

从而得到

成像尺寸A'为

式中，A”为成像的像素数；d为图像传感器长边物理尺寸；D为图像传感器长边像素数，像素解析度为：

它表示单位像素所代表的实际物理尺寸，为实际物理尺寸与像素数的转换系数。对数字图像进行系列处理，得出被测目标在整幅图像中所占像素数，由此可计算被测目标(裂缝)的实际物理尺寸。

根据图像采集仪器中记录的图像距离及已知的相机参数，计算其特征值的真实大小，最终根据相应规范对上述得到的裂缝特征值大小进行危险程度评估。

综上所述，本发明提供的方法可以在对低分辨率及模糊的裂缝图像中的微裂缝进行语义分割、特征量化及评估，具有安全有效、操作简便、精度更高、智能化程度高的优点，为结构运维管理者在决策时提供有效的参考依据。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，包括以下步骤：

结构表观检测视频数据的采集：将高清视频采集仪与测距仪安装在移动设备上，对待检测结构的表面进行扫描，将扫描得到的、待检测结构的表面视频进行压缩后在线传输到检测工作站；

构建并训练超分辨率重建分割网络模型；所述超分辨率重建分割网络模型包括：单图像超分辨率模块、语义分割超分辨率模块以及特征相似性模块；所述特征相似性模块用于在所述超分辨率重建分割网络模型训练时，计算所述单图像超分辨率模块训练输出的裂缝特征图像与语义分割超分辨率模块训练输出的裂缝特征图像之间的相似度，并用所述相似度指导语义分割超分辨率模块学习高分辨率表示；所述单图像超分辨率模块与所述语义分割超分辨率模块连接，所述单图像超分辨率模块、语义分割超分辨率模块均与所述特征相似性模块连接，所述单图像超分辨率模块用于输入裂缝图像，并输出所述裂缝图像的超分辨率图像给所述语义分割超分辨率模块，所述语义分割超分辨率模块用于接受所述裂缝图像的超分辨率图像，并输出所述超分辨率图像的超分辨语义分割图；

从所述检测工作站获取压缩视频中的视频帧图像，将所述待分割裂缝图像输入至训练好的超分辨率重建分割网络模型中，得到所述待分割裂缝图像的超分辨率语义分割图。

2.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，结构表观检测视频数据的采集，包括以下步骤：

高清视频采集仪实时采集待检测结构表面的视频图像，测距仪记录每张视频帧图像对应的采集设备与结构表面的距离；搭建计算机中心，并使用所述计算机中心配置工作站，以所述工作站为载体，构建并训练超分辨率重建分割网络模型，将高清视频进行压缩后实时传输到工作站进行检测。

3.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，训练超分辨率重建分割网络模型，包括以下步骤：

从历史数据中获取裂缝训练图像、其对应的标准超分辨率图像以及标准语义分割图；

将所述裂缝训练图像及其对应的标准超分辨率图像输入到单图像超分辨率模块中进行训练，根据所述单图像超分辨率模块训练输出的超分辨图像与其对应的标准超分辨率图像计算所述单图像超分辨率模块的第一损失；

将所述裂缝训练图像及其对应的标准语义分割图输入到语义分割超分辨率模块中进行训练，根据所述语义分割超分辨率模块训练输出的语义分割图像与其对应的标准语义分割图像计算所述语义分割超分辨率模块的第二损失；

特征相似性模块计算所述单图像超分辨率模块训练输出的超分辨图像与其对应所述语义分割超分辨率模块训练输出的语义分割图像之间的特征相似度；

再根据所述第一损失、第二损失以及所述特征相似度矩阵计算所述超分辨率重建分割网络模型的总损失，调整所述超分辨率重建分割网络模型的训练参数以实现总损失最小，得到训练好的超分辨率重建分割网络模型。

4.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，根据所述第一损失、第二损失以及所述特征相似度计算所述超分辨率重建分割网络模型的总损失，通过以下公式实现：

L_total＝L_ce+w₁L_mse+w₂L_fa；

其中，L_total为总损失，L_ce为第二损失，L_mse为第一损失，L_fa为特征相似度，w₁为第一损失的权重，w₂为第二损失的权重。

5.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，所述第一损失L_mse的计算方式为：

其中，SISR(X_i)为单图像超分辨率模块训练输出的第i个超分辨图像，Y_i为第i个超分辨图像对应的标准超分辨率图像；N为单图像超分辨率模块的训练样本总数。

所述第二损失L_ce的计算方式为：

L_ce＝w₃L_Bce+w₄L_Dice；

L_Bce为所述语义分割超分辨率模块的二分类交叉熵损失；L_Dice为所述语义分割超分辨率模块的Dice损失，w₃与w₄为平衡Bce损失和Dice损失之间重要性的权重系数。

6.根据权利要求5所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，从历史数据中获取裂缝训练图像、其对应的标准超分辨率图像以及标准语义分割图，包括以下步骤：

拍摄不同种类裂缝不同分辨率的图像：对于同一裂缝的图像，将分辨率低的图像作为训练图像，分辨率高的图像作为对应的标准超分辨率图像，对所述标准超分辨率图像中的裂缝进行像素级标注，再对标注后的标准超分辨率图像进行二值化处理，得到所述训练图像的标准语义分割图。

7.根据权利要求5所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，所述超分辨率重建分割网络模型为U型编-解码器网络结构，所述U型编-解码器网络结构的主干网络采用ResNet152；解码器模块采用ESPCN设计，且输出尺寸与所述语义分割超分辨率模块的输出尺寸一致；所述单图像超分辨率模块、语义分割超分辨率模块共用所述超分辨率重建分割网络模型的特征提取模块以及编码器模块，且所述第一损失函数用于优化所述U型编-解码器网络结构的解码器模块。

8.根据权利要求7所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，在构建并训练超分辨率重建分割网络模型时，还包括以下步骤：

构建并训练超参数不同的多个超分辨率重建分割网络模型，从峰值信噪比、结构相似性、F1-score以及交并比这四个指标对训练好的多个超分辨率重建分割网络模型进行评分，从所述的多个超分辨率重建分割网络模型中选取评分最高的超分辨率重建分割网络模型作为最优模型，并使用最优模型对待分割裂缝图像进行超分辨率重建与语义分割。

9.根据权利要求8所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，从峰值信噪比、结构相似性、F1-score以及交并比这四个指标对训练好的多个超分辨率重建分割网络模型进行评价，通过以下公式实现：

S＝λ₁PSNR+λ₂SSIM+λ₃(F1-score)+λ₄IoU

其中，S表示评分；PSNR表示单图像超分辨率模块的峰值信噪比；SSIM表示单图像超分辨率模块的结构相似性；F1-score表示语义分割超分辨率模块的平衡F分数，是精确率和召回率的调和平均数；IoU表示语义分割超分辨率模块的交并比，λ₁、λ₂、λ₃、λ₄分别代表PSNR、SSIM、F1-score、IoU的权重。

10.根据权利要求1所述的基于移动设备与超分重建分割网络的裂缝在线检测方法，其特征在于，在得到所述待分割裂缝图像的超分辨率语义分割图后，还包括以下步骤：

采用中轴变换算法对待分割裂缝图像的超分辨率语义分割图进行处理，得到待分割裂缝图像中裂缝的骨架和以像素为单位的裂缝特征值；

根据待分割裂缝图像的图像采集仪器中记录的图像距离及已知的相机参数，计算所述裂缝特征值的真实大小；

根据所述裂缝所在结构的应用场景以及所述裂缝特征值的真实大小对所述裂缝的危险程度进行评估。

11.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述权利要求1至10任一项方法的步骤。

Images