CN113971660A - 桥梁健康诊断的计算机视觉方法和智能摄像系统 - Google Patents

Abstract

本发明公开了桥梁健康诊断的计算机视觉方法和智能摄像系统，属于桥梁健康监测技术领域，解决现有技术中用于桥梁健康诊断的图像识别精度低、实时性差和效率低的问题。本发明的方法包括：建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；建立桥梁多类型病害的图像数据集，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；实时采集桥梁图像，获取所述桥梁图像的语义分割结果图。本发明适用于实时在线对桥梁多类型病害的健康情况进行监测和检测，可以将“图像采集、分析计算、结果展示”一体化部件，直接搭载或集成到无人机、机器人、检测车等巡检设备上，实现桥梁病害图像的自动化采集和智能化识别。

Description

桥梁健康诊断的计算机视觉方法和智能摄像系统

技术领域

本申请涉及桥梁健康监测技术领域，尤其涉及桥梁健康诊断的计算机视觉方法和智能摄像系统。

背景技术

大型桥梁是一个国家和地区的重要基础设施，在长达几十年的服役期内由于环境侵蚀、材料老化、往复荷载产生的疲劳效应等复杂因素耦合作用，会不可避免地出现结构病害(如混凝土裂缝、混凝土剥落、钢材疲劳裂纹等)和变形(如超限幅振动、主梁挠度、支座脱空等)。桥梁结构病害损伤和变形程度的不断累积会直接威胁服役安全，严重时甚至导致极端灾难事故的发生。因此，桥梁健康监测与检测对保证大型桥梁结构服役安全是十分必要的。

传统桥梁健康监测与检测主要分为监测与检测两部分。传统的桥梁监测方法需要沿桥梁布设传感器、对桥梁局部响应进行长期监测，然而由于传感器数量有限带来的信息不完备问题、基于动力反演理论的损伤识别方法存在病态问题、环境作用耦合效应、测量噪声以及对微小损伤不敏感等方面的限制，无法真正有效地实现桥梁健康状态的监测与评估。传统的桥梁检测方法主要依靠巡检人员目视检查和定期无损检测。基于目视检查的人工巡检往往是不准确的，其结果严重依赖于检查人员的主观定性判断；无损检测则依靠具有专家知识的专业技术人员携带昂贵的或特种功能的仪器设备或传感器。这两种传统的桥梁健康监测与检测方式都需要消耗大量的人力物力财力，并且效率低下。

随着人工智能技术在近年来取得重大突破，计算机视觉和深度学习作为人工智能领域的重要分支，可以让计算机学会看懂并且解释真实世界。基于深度学习的计算机视觉技术只需要成本相对较低的摄像头作为数据采集设备，满足了尽量少地使用昂贵的专业仪器和传感器的要求，同时也满足直观、快捷的检测需求。但是，传统基于计算机视觉的桥梁健康监测与检测技术往往是通过无人机或机器人在桥检现场获取桥梁病害图像，然后将图像数据传输至数据中心，再由大型服务器进行运算、获得检测结果。在这个过程中，桥梁病害图像的数据采集、传输、计算和反馈是独立进行的，因此实时性差、无法在桥检现场立即获得病害识别结果从而进行维修决策，并且每个环节的完成质量均有可能影响到识别精度(如数据传输过程的图像压缩和丢包等)。

发明内容

为了解决现有技术中用于桥梁健康诊断的图像识别精度低、实时性差和效率低的问题，本发明提供了桥梁健康诊断的计算机视觉方法和智能摄像系统。

本发明是通过以下技术方案实现的，本发明一方面，提供桥梁健康诊断的计算机视觉方法，所述方法包括：

步骤1、建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型包括编码器和解码器；

所述编码器包括骨干网络和空洞卷积金字塔池化；

所述骨干网络包括卷积模块和若干个瓶颈残差模块，第一层为所述卷积模块，所述卷积模块用于对输入图像进行低层级特征提取，输出低层级特征图至第一个瓶颈残差模块；

所述若干个瓶颈残差模块顺次连接，每个瓶颈残差模块依次对上一层模块输出的特征图的尺寸按预设值进行缩小并进行较高层级特征提取，输出相应的特征图，当满足预设缩小条件后，对上一层模块输出的特征图进行较高层级特征提取，最终获取较高层级特征图；

所述空洞卷积金字塔池化对所述较高层级特征图进行不同尺度感受野的特征提取，获取多个不同尺度感受野特征图，并对所述多个不同尺度感受野特征图的通道进行合并，获取高层级特征图；

所述解码器对所述高层级特征图进行上采样，获取上采样后的高层级特征图，并对所述骨干网络中第一个瓶颈残差模块输出的特征图进行卷积，获取卷积后的特征图，将所述上采样后的高层级特征图和所述卷积后的特征图的通道进行合并，获取中间特征图，对所述中间特征图进行卷积和上采样，最终获取与所述输入图像尺寸相同的语义分割结果图；

步骤2、建立桥梁多类型病害的图像数据集，将所述图像数据集按照病害类型进行分类，获取每一个病害类型的图像集，将所述图像集分为训练集和测试集；

利用所述训练集和所述测试集对所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型进行训练，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；

步骤3、实时采集桥梁图像，根据所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，将所述桥梁图像分成子图像；

将所述子图像输入所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，获取所述子图像的语义分割结果图；

将所述子图像的语义分割结果图进行拼接，获取所述桥梁图像的语义分割结果图。

进一步地，所述瓶颈残差模块包括第一瓶颈残差模块和第二瓶颈残差模块；

所述第二瓶颈残差模块的步长是所述第一瓶颈残差模块的步长的2倍。

进一步地，所述第一瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块、和第二卷积模块，还包括特征值加和模块和残差连接；

所述第二瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块和第二卷积模块；

所述第一卷积模块为1×1卷积，其激活函数为ReLU6激活函数；所述深度可分离卷积模块为3×3卷积，其激活函数为ReLU6激活函数；所述第二卷积模块为1×1卷积，其激活函数为linear激活函数；

所述第一卷积模块和所述残差连接的输入均为上一层模块输出的特征图；

所述特征值加和模块将残差连接输出的特征图上的特征值与对应的第二卷积模块输出的特征图上的特征值进行加和，获取特征加和后的特征图。

进一步地，所述空洞卷积金字塔池化包括1×1卷积模块、若干个空洞卷积模块、全局平均池化模块和通道合并模块；

所述1×1卷积模块对所述较高层级特征图的每个像素点进行特征提取，获取第一尺度感受野特征图；

所述若干个空洞卷积模块对所述较高层级特征图进行不同空洞率的特征提取，获取多个不同空洞率的尺度感受野特征图，其中，每个所述空洞卷积模块的卷积核具有相同的尺寸、不同的空洞率和与所述空洞率相匹配的补零率；

所述全局平均池化模块对所述较高层级特征图进行全局平均池化，获取平均池化的尺度感受野特征图；

所述通道合并模块对所述第一尺度感受野特征图、所述多个不同空洞率的尺度感受野特征图和所述平均池化的尺度感受野特征图的通道进行合并，获取高层级特征图。

第二方面，本发明提供了桥梁健康诊断的计算机视觉装置，所述装置包括：图像获取模块、模型建立模块、模型训练模块和图像识别模块；

所述图像获取模块用于采集桥梁多类型病害的图像数据集和桥梁图像；

所述模型建立模块用于建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型包括编码器和解码器；

所述编码器包括骨干网络和空洞卷积金字塔池化；

所述骨干网络包括卷积模块和若干个瓶颈残差模块，第一层为所述卷积模块，所述卷积模块用于对输入图像进行低层级特征提取，输出低层级特征图至第一个瓶颈残差模块；

所述若干个瓶颈残差模块顺次连接，每个瓶颈残差模块依次对上一层模块输出的特征图的尺寸按预设值进行缩小并进行较高层级特征提取，输出相应的特征图，当满足预设缩小条件后，对上一层模块输出的特征图进行较高层级特征提取，最终获取较高层级特征图；

所述空洞卷积金字塔池化对所述较高层级特征图进行不同尺度感受野的特征提取，获取多个不同尺度感受野特征图，并对所述多个不同尺度感受野特征图的通道进行合并，获取高层级特征图；

所述解码器对所述高层级特征图进行上采样，获取上采样后的高层级特征图，并对所述骨干网络中第一个瓶颈残差模块输出的特征图进行卷积，获取卷积后的特征图，将所述上采样后的高层级特征图和所述卷积后的特征图的通道进行合并，获取中间特征图，对所述中间特征图进行卷积和上采样，最终获取与所述输入图像尺寸相同的语义分割结果图；

所述模型训练模块用于建立桥梁多类型病害的图像数据集，将所述图像数据集按照病害类型进行分类，获取每一个病害类型的图像集，将所述图像集分为训练集和测试集；

利用所述训练集和所述测试集对所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型进行训练，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；

所述图像识别模块用于实时采集桥梁图像，根据所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，将所述桥梁图像分成子图像；

将所述子图像输入所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，获取所述子图像的语义分割结果图；

将所述子图像的语义分割结果图进行拼接，获取所述桥梁图像的语义分割结果图；

进一步地，所述模型建立模块中的所述瓶颈残差模块包括第一瓶颈残差模块和第二瓶颈残差模块；

所述第二瓶颈残差模块的步长是所述第一瓶颈残差模块的步长的2倍。

进一步地，所述第一瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块、和第二卷积模块，还包括特征值加和模块和残差连接；

所述第二瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块和第二卷积模块；

所述第一卷积模块为1×1卷积，其激活函数为ReLU6激活函数；所述深度可分离卷积模块为3×3卷积，其激活函数为ReLU6激活函数；所述第二卷积模块为1×1卷积，其激活函数为linear激活函数；

所述第一卷积模块和所述残差连接的输入均为上一层模块输出的特征图；

所述特征值加和模块将残差连接输出的特征图上的特征值与对应的第二卷积模块输出的特征图上的特征值进行加和，获取特征加和后的特征图。

进一步地，所述模型建立模块中的所述空洞卷积金字塔池化包括1×1卷积模块、若干个空洞卷积模块、全局平均池化模块和通道合并模块；

所述1×1卷积模块对所述较高层级特征图的每个像素点进行特征提取，获取第一尺度感受野特征图；

所述若干个空洞卷积模块对所述较高层级特征图进行不同空洞率的特征提取，获取多个不同空洞率的尺度感受野特征图，其中，每个所述空洞卷积模块的卷积核具有相同的尺寸、不同的空洞率和与所述空洞率相匹配的补零率；

所述全局平均池化模块对所述较高层级特征图进行全局平均池化，获取平均池化的尺度感受野特征图；

所述通道合并模块对所述第一尺度感受野特征图、所述多个不同空洞率的尺度感受野特征图和所述平均池化的尺度感受野特征图的通道进行合并，获取高层级特征图。

第三方面，本发明提供了桥梁健康诊断的智能摄像系统，所述系统包括：图像获取单元、分析计算单元、显示装置和电源；

所述图像获取单元用于采集桥梁图像；

所述分析计算单元用于执行如上文所述的桥梁健康诊断的计算机视觉方法，获取所述桥梁图像的语义分割结果图；

所述显示装置用于显示所述桥梁图像的语义分割结果图；

所述电源用于为所述图像获取单元、所述分析计算单元和所述显示装置供电。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如上文所述的桥梁健康诊断的计算机视觉方法。

本发明的有益效果：

本发明可实现桥梁多类型病害图像数据采集、分析计算和结果展示的同步进行，满足桥梁巡检的在线安全预警需求；

本发明具体识别对象包括混凝土裂缝、混凝土剥落、钢筋暴露、钢材疲劳裂纹等多类型病害，并且支持功能扩展，只需要在智能图像处理器上针对新病害增加相应的识别算法、布置相应的识别模型，即可实现新功能的集成；

本发明在智能图像处理器中嵌入的轻量化识别算法可以保证识别结果的准确度高、实时性好、稳定性强；

本发明所使用的识别模型可以随着病害图像样本库的不断累积进行离线重训练，升级后的模型再重新写入智能图像处理器中，保证在实际桥梁巡检场景中的识别精度越来越高；

本发明可作为“图像采集、分析计算、结果展示”一体化部件，直接搭载或集成到无人机、机器人、检测车等巡检设备上，实现桥梁病害图像的自动化采集和智能化识别；

本发明提升了大型桥梁巡检的效率以及准确度，整个过程均为自动化处理，解决了传统方法速度慢、实时性差、费时费力、需要人工巡检、依赖专家经验的不足，提高了桥梁巡检的自动化、智能化程度和准确性。

本发明适用于实时在线对桥梁多类型病害的健康情况进行监测和检测。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为桥梁多类型病害的轻量化语义分割深度卷积神经网络模型整体架构图；

图2为基于智能图像识别的桥梁健康监测和检测系统硬件构成示意图；

图3为第一瓶颈残差模块结构示意图；

图4为第二瓶颈残差模块结构示意图；

图5为瓶颈残差模块所使用的深度可分离卷积计算过程示意图；

图6为对实际桥检混凝土裂缝病害的识别效果示例图；

图7为对实际桥检钢箱梁微小疲劳裂纹病害的识别效果示例图；

图8为对实际桥检混凝土剥落和钢筋暴露病害的识别效果示例图。

具体实施方式

实施方式一，参见图1说明本实施方式。本实施方式提供桥梁健康诊断的计算机视觉方法，所述方法包括：

步骤1、建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型包括编码器和解码器；

所述编码器包括骨干网络和空洞卷积金字塔池化；

所述骨干网络包括卷积模块和若干个瓶颈残差模块，第一层为所述卷积模块，所述卷积模块用于对输入图像进行低层级特征提取，输出低层级特征图至第一个瓶颈残差模块；

所述若干个瓶颈残差模块顺次连接，每个瓶颈残差模块依次对上一层输出的特征图的尺寸按预设值进行缩小并进行较高层级特征提取，输出相应的特征图，当满足预设缩小条件后，对上一层输出的特征图进行较高层级特征提取，最终获取较高层级特征图；

瓶颈残差模块的作用是对低层级特征图进行较高层级抽象特征提取，其输入是上一层模块的输出，获取的是较高层级的特征图。

所述空洞卷积金字塔池化对所述较高层级特征图进行不同尺度感受野的特征提取，获取多个不同尺度感受野特征图，并对所述多个不同尺度感受野特征图的通道进行合并，获取高层级特征图；

在编码器中，输入的输入图像经过骨干网络进行特征提取后，进入到空洞卷积金字塔池化，获取高层级特征图。

所述解码器对所述高层级特征图进行上采样，获取上采样后的高层级特征图，并对所述骨干网络中第一个瓶颈残差模块输出的特征图进行卷积，获取卷积后的特征图，将所述上采样后的高层级特征图和所述卷积后的特征图的通道进行合并，获取中间特征图，对所述中间特征图进行卷积和上采样，最终获取与所述输入图像尺寸相同的语义分割结果图；

步骤2、建立桥梁多类型病害的图像数据集，将所述图像数据集按照病害类型进行分类，获取每一个病害类型的图像集，将所述图像集分为训练集和测试集；

利用所述训练集和所述测试集对所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型进行训练，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；

在模型架构完成后，其训练过程需要根据不同的桥梁检测需求选取不同的图像数据。比如，针对混凝土裂缝病害的识别需求，训练数据采用3176张包含多种不同分辨率(512×512、768×768、600×450、640×480等)、实桥拍摄的混凝土裂缝图像，随机选取其中的90％作为训练集，10％作为验证集。训练的超参数设置如下：初始学习率为0.01，批次大小为8，训练总轮次为50。采用指数模式的学习率下降策略，保证随着训练过程的进行使用较小的学习率进行寻优。学习率随当前训练轮次的下降关系如下式所示：

式中，lr为学习率，in_lr为初始学习率，epoch为训练总轮次，iter为当前训练轮次，β为指数衰减率，取值范围为0-1，β越大表示学习率下降速度越慢。经过多次试验，为达到较好的训练损失下降效果，本发明中β取值为0.9。

由于在实桥巡检图像中裂缝像素与背景有明显的像素数量比例差异，为了解决正负样本(正样本指图像中的目标区域，本例中指裂缝区域；负样本指除了裂缝外的背景区域)像素数量的不平衡问题，本发明提出在使用优化目标函数时，根据训练所处的阶段不同，选择不同的损失函数来进行训练，即形成了混合损失函数策略。将模型训练的总轮次数记为epoch，混合损失函数的比例系数记为α，前一部分即训练的前(α×epoch)轮采用Focalloss，后一部分即训练的后(1-α)×epoch轮采用Dice loss。混凝土裂缝的语义分割是一个像素二分类任务，样本总数记为N，第i个裂缝像素(正样本)的预测概率值记为p_i，输入图像每一个像素的真实标签值记为y_i(0为背景像素，1为裂缝像素)，则训练过程所使用的损失函数表达式如下式所示：

式中，γ为Focal损失中体现学习难易程度的比例系数，取值范围为0-1，γ越大表示对更难学习样本的区分度越高；α为区分混合损失函数两阶段的比例系数，取值范围为0-1，α越大代表在训练早期更多地采用Focal Loss损失函数。本发明中γ取值为0.25，α取值为0.6。要说明的是，α的选取是根据输入图像的特点和任务需求进行优化设计得到的；对于不同的识别任务和图像数据集，α可以在0-1之间进行调整。

步骤3、实时采集桥梁图像，根据所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，将所述桥梁图像分成子图像；

将所述子图像输入所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，获取所述子图像的语义分割结果图；

将所述子图像的语义分割结果图进行拼接，获取所述桥梁图像的语义分割结果图。

本实施方式对实桥拍摄的混凝土裂缝图像具有较好的识别效果，并且能保证应用于实际桥检过程的高精度和高效率。

实施方式二，本实施方式是对实施方式一所述的桥梁健康诊断的计算机视觉方法的进一步限定，本实施方式中，对骨干网络中有关缩小输入图像尺寸相关的预设值和预设缩小条件做了进一步限定，具体为：

所述低层级特征图的尺寸为所述输入图像的尺寸的1/2；

所述预设值为所述输入图像的1/4、1/8和1/16；

预设缩小条件具体为将上一层输出的特征图的尺寸缩小至所述输入图像的1/16。

如图1所示，特征图下面的数字2、4、8、16是指本层级特征图的尺寸缩小至输入图像尺寸的1/2、1/4、1/8和1/16，即越高层级的特征图尺寸逐渐缩小，随着箭头方向，层数增加，每一个虚线框表示一个瓶颈残差模块。从而获得包含不同尺度信息的多层级特征图并减小网络计算量，并且每层级缩小为上一层的一半，避免由于过大的缩放带来特征信息的大量丢失，从而同时保证模型的精度和速度；

首先，利用卷积模块对输入图像进行特征提取，并将获取的低层级特征图的尺寸缩小至输入图像的1/2，这里的卷积计算是根据卷积运算设置的步长、卷积核尺寸、补零等参数自动得到的结果，是使用3×3卷积运算的结果，属于现有技术。

其次，在利用第一瓶颈残差模块和第二瓶颈残差模块将输入的特征图的尺寸缩小至输入图像的1/4、1/8和1/16，当输出的特征图的尺寸缩小至所述输入图像的1/16，即满足预设缩小条件时，第一瓶颈残差模块和第二瓶颈残差将不再对输入的特征图的尺寸进行更改，只进行特征提取。

越低层级特征平面尺寸越大，通道数小；越高层级的特征平面尺寸逐渐变小，但是通道数增大；相当于把信息从平面上提取到了通道中，通道对应着卷积运算，也就体现了卷积的特征提取作用。

实施方式三，本实施方式是对实施方式二所述的桥梁健康诊断的计算机视觉方法的进一步限定，本实施方式中，对瓶颈残差模块做了进一步限定，具体为：

所述瓶颈残差模块包括第一瓶颈残差模块和第二瓶颈残差模块；

所述第二瓶颈残差模块的步长是所述第一瓶颈残差模块的步长的2倍。

需要说明的是，选取2倍的关系，可以防止过度下采样，信息丢失率过高影响准确率；这种设计可以实现多尺度特征图的获取，不同步长对应可以获得不同尺度的特征图，增加对输入图像的特征提取能力。

本实施方式中，可以将第一瓶颈残差模块的步长设为1，第二瓶颈残差模块的步长设为2，这里的步长是比较简单的设计，这样既可以获取多尺度的结果，又不能因为步长选取过大导致信息缩减太多。

实施方式四，本实施方式是对实施方式三所述的桥梁健康诊断的计算机视觉方法的进一步限定，本实施方式中，分别对第一瓶颈残差模块和第二颈残差模块做了进一步限定，具体为：

所述第一瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块、和第二卷积模块，还包括特征值加和模块和残差连接；

所述第二瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块和第二卷积模块；

所述第一卷积模块为1×1卷积，其激活函数为ReLU6激活函数；所述深度可分离卷积模块为3×3卷积，其激活函数为ReLU6激活函数；所述第二卷积模块为1×1卷积，其激活函数为linear激活函数；

所述第一卷积模块和所述残差连接的输入均为上一层模块输出的特征图；

所述特征值加和模块将残差连接输出的特征图上的特征值与对应的第二卷积模块输出的特征图上的特征值进行加和，获取特征加和后的特征图。

第一瓶颈残差模块步长小，对应提取的特征尺度小，使得顺次连接的第一卷积模块、深度可分离卷积模块、和第二卷积模块输出的特征图与残差连接的输出特征图的加和更有意义；第二瓶颈残差模块步长大，主要提取的是较大尺度的特征，不用残差连接。

如图3所示，第一瓶颈残差模块具有残差连接，并进行同通道特征值加和，这里的同通道特征值加和，是指由残差连接输出的特征图，和第二卷积模块输出的特征图，在对应的每个通道上的每个空间位置，进行数值相加，最后获得一个特征加和后的特征图；如图4所示，第二瓶颈残差模块则没有该残差连接。

第一瓶颈残差模块由于具有残差连接，在网络更新的误差反向传播过程中，梯度可以直接由残差连接回传至较低层级，从而避免了梯度消失现象(最终损失的改变对低层级卷积核参数没有影响，网络不更新)。因此，瓶颈残差模块的设置方式遵循以下原则：第一瓶颈残差模块和第二瓶颈残差模块混合使用，保证网络更新时的误差反向传播可以由第一瓶颈残差模块的残差连接快速传递至低层级卷积核，避免梯度消失的发生。第一瓶颈残差模块步长小，对应提取的特征尺度小，使得加上具有从输入到输出的残差连接更有意义；第二瓶颈残差模块步长大，主要提取的是较大尺度的特征，不用连接输入到输出。

两种瓶颈残差模块的区别在于：瓶颈残差模块1和2的卷积滑动步长不同(分别为1和2)，并且瓶颈残差模块1具有从输入到输出的残差连接以及同通道特征值加和，模块2则没有该残差连接。

如图3和图4所示，ReLU6代表阈值为6的修正线性单元激活函数，Linear代表线性激活函数，深度可分离卷积代表将普通卷积运算拆分成一个深度卷积和一个1×1卷积，运算过程如图5所示。深度可分离卷积运算的轻量化作用具体说明如下：

假设D_f为输入图像像素数、D_k为深度卷积的卷积核大小、输入通道数为M、输出通道数为N，普通卷积和深度可分离卷积的参数量与计算量对比如表1所示。由表1可以看出，本发明采用的深度可分离卷积运算相比于原始的普通卷积运算，参数量和计算量均减小至1/N+1/D_k×D_k，从而提高了病害识别过程的正向计算效率、保证了实现桥梁病害检测结果的实时输出。例如，卷积核大小D_k取3、N取3，参数量和计算量均减小至原来的4/9(接近50％)。同时可以得出推论，输出通道越多，即所识别病害的类型越多、模型越复杂，模型的参数量减少比例越高，即对越复杂任务的轻量化效果越好。

表1普通卷积和深度可分离卷积的参数量与计算量对比

实施方式五，本实施方式是对实施方式四所述的桥梁健康诊断的计算机视觉方法的进一步限定，本实施方式中，对空洞卷积金字塔池化做了进一步限定，具体为：

所述空洞卷积金字塔池化包括1×1卷积模块、若干个空洞卷积模块、全局平均池化模块和通道合并模块；

所述1×1卷积模块对所述较高层级特征图的每个像素点进行特征提取，获取第一尺度感受野特征图；

所述若干个空洞卷积模块对所述较高层级特征图进行不同空洞率的特征提取，获取多个不同空洞率的尺度感受野特征图，其中，每个所述空洞卷积模块的卷积核具有相同的尺寸、不同的空洞率和与所述空洞率相匹配的补零率；

所述全局平均池化模块对所述较高层级特征图进行全局平均池化，获取平均池化的尺度感受野特征图；

所述通道合并模块对所述第一尺度感受野特征图、所述多个不同空洞率的尺度感受野特征图和所述平均池化的尺度感受野特征图的通道进行合并，获取高层级特征图。

空洞卷积金字塔池化以骨干网络提取到的较高层级特征图为输入，设计多层级空洞卷积金字塔，每一层级空洞卷积运算由具有相同平面尺寸(宽度和高度)的卷积核、卷积核相邻元素之间的空洞率、与空洞率相匹配的补零率组成，设计原则为：随着空洞率的提高，由同一大小卷积核映射回原始特征图上的感受野变大，从而实现增大感知区域，增强可以提取到的图像特征。感受野计算公式为：

H'_Dilated＝H'+(H'-1)×(R_H-1)＝R_H(H'-1)+1

式中，H'表示卷积核尺寸，R_H表示空洞率，H'_Dilated表示考虑空洞率的卷积核实际感受野尺寸。对于正常卷积运算，空洞率为1，即卷积核仍保持原状；对于空洞率大于1的层级，空洞卷积感受野H'_Dilated大于原卷积核尺寸H'，并且空洞率越大的感受野越大，即可以提取到更大范围内的图像区域特征。

而且，根据卷积运算的滑动过程，输出特征图的尺寸和输入特征图的尺寸、卷积核尺寸、空洞率、补零率之间满足几何约束条件。同时，不同层级的空洞卷积选取不同的空洞率和补零率，服从的设计原则是输出特征图与输入特征图的尺寸相等；再根据逐像素滑动对图像的遍历性质，即S＝1，可以得到不同层级补零率的计算方法，如下式所示：

式中，H^output为输出特征图的尺寸，H表示输入特征图的尺寸，H'_Dilated表示空洞卷积感受野，P表示沿图像正负(上下或左右)两个方向的补零率，S为卷积滑动步长。

如图1所示，本实施方式中，在编码器中，输入图像经过骨干网络进行特征提取后，进入到空洞卷积金字塔池化区。该模块由纵向连接的具有不同空洞率的空洞卷积和全局平均池化层组成，通过不同的空洞率的空洞卷积改变对感受野的大小，从而获取输入图像的多尺度特征信息，然后对各层级的结果按通道方向进行拼接合并。

本实施方式中，空洞卷积金字塔池化包括一个1×1卷积模块、3个空洞卷积模块和一个全局平均池化模块，共有五个感受野层级，这五个感受野层级的参数是根据输入图像的特点和尺寸大小进行选取的。其中所述1×1卷积模块为感受野层级1，3个空洞卷积模块分别为感受野层级2、感受野层级3和感受野层级4，全局平均池化模块为感受野层级5。

本实施方式中，在编码器中，输入图像经过骨干网络进行特征提取后，进入到空洞卷积金字塔池化区。该模块由纵向连接的具有不同空洞率的空洞卷积和全局平均池化层组成，通过不同的空洞率的空洞卷积改变对感受野的大小，从而获取输入图像的多尺度特征信息，然后对各层级的结果按通道方向进行拼接合并。空洞卷积金字塔池化区包括五个感受野层级，分别说明如下。感受野层级1采用普通1×1卷积，其感受野为1×1；感受野层级2采用3×3卷积、空洞率为6，其感受野为13×13；感受野层级3采用3×3卷积、空洞率为12，其感受野为25×25；感受野层级4采用3×3卷积、空洞率为18，其感受野为37×37；感受野层级5采用全局平均池化，其感受野为上层特征图大小即32×32。要说明的是，空洞卷积金字塔池化区中的五个感受野层级的参数选取是根据输入图像中目标区域的最小长度、宽度和尺寸大小获取的，并通过后续的训练进而获取到最优参数；对于不同的输入图像尺寸，各层级采用的卷积核尺寸和空洞率大小均可以进行调整。

第一个采用1×1是对较高层级特征图的每个像素点进行特征提取，而后采用3×3卷积搭配不同空洞率、形成不同感受野，是对较高层级特征图中具有不同大小的局部区域进行特征提取，最后的全局平均池化是对较高层级特征图的整体区域进行特征提取；最后进行通道合并，得到的输出就融合了较高层级特征图逐像素点、局部区域、以及整体的特征，保证需要识别的特征不会丢失。

最后在通过解码器对所述高层级特征图进行第一1×1卷积后，再进行第一4倍上采样，获取上采样后的高层级特征图，并对所述骨干网络中第一个瓶颈残差模块输出的特征图进行第二1×1卷积，获取卷积后的特征图，将所述上采样后的高层级特征图和所述卷积后的特征图的通道进行合并，获取中间特征图，对所述中间特征图顺次进行第一3×3卷积和第二3×3卷积后，再进行第二4倍上采样，最终获取与所述输入图像尺寸相同的语义分割结果图。

本实施方式所建立的轻量化语义分割深度卷积神经网络模型结构参数如表2所示。

表2桥梁多类型病害轻量化语义分割模型的网络结构参数

本实施方式所建立的轻量化语义分割深度卷积神经网络模型采用编码器-解码器架构，如图1所示，步骤如下：

(1)编码器骨干网络特征提取：输入图像进入编码器，通过骨干网络区进行低层级特征提取；

(2)编码器空洞卷积金字塔池化：然后进入空洞卷积金字塔池化区继续进行多尺度感受野特征提取，不同的空洞率决定了不同等级的感受野大小，并进行多尺度特征图的通道合并；

(3)解码器：编码器输出的高层级特征图经过4倍上采样，然后与编码器中的骨干网络中第一个瓶颈残差模块输出的特征图进行1×1卷积后得到的特征图，进行通道合并，最后经过3×3卷积和4倍上采样，获得与输入图像尺寸相同的语义分割结果。

基于上述提供的桥梁健康诊断的计算机视觉方法，本发明还提供了桥梁健康诊断的智能摄像系统。如图2所示，所述系统包括：图像获取单元、分析计算单元、显示装置和电源；

所述图像获取单元用于采集桥梁图像；

所述分析计算单元用于执行上述任意方法实施例中的桥梁健康诊断的计算机视觉方法，获取所述桥梁图像的语义分割结果图，其中，该分析计算单元的具体形式与上述对应的实施例相同，在此不再赘述；

所述显示装置用于显示所述桥梁图像的语义分割结果图；

所述电源用于为所述图像获取单元、所述分析计算单元和所述显示装置供电。

本系统主要包括以下四个部分：

图像获取单元可以为高清摄像头；

分析计算单元可以为AI处理器，基于AI处理器进行桥梁多类型病害的轻量化语义分割深度卷积神经网络模型的建立、训练和测试；训练完毕后，将训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型写入AI处理器，以摄像头图像为输入、调用训练好的模型得到识别结果；

AI处理器上面含有输入由摄像头拍摄图像及输出结果到显示装置所需要的USB接口(有线传输)和蓝牙装置(无线传输)；

所述显示装置可以为显示屏；

电源可以为蓄电池。

该系统的硬件系统架构图如图2所示，其中高清摄像头可选用目前市面上通用的带有USB接口的高清摄像头，本发明中使用的图像分辨率范围为1936×1296～4928×3264；AI处理器可选用带有深度学习加速引擎和边缘计算显卡(GPU)的工控机，在AI处理器硬件中写入了深度网络智能识别模型，即桥梁多类型病害像素级识别的轻量化语义分割深度卷积神经网络模型，本发明中使用的是英伟达的Jetson Xavier NX开发套件；显示装置分辨率和蓄电池容量可根据实际需要进行定制。

如图6所示，为本发明用于桥梁混凝土裂缝病害的识别效果示例图，图6中，从左到右的第一列(a)列中的图为混凝土裂缝图像，第二列(b)列中的图为混凝土裂缝的语义分割结果图，具体如下：

首先将摄像头拍摄的混凝土裂缝图像，按512×512的窗口大小和256像素的重叠区域划分成子图像，然后将子图像输入至训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型中，最后在图像结果显示装置显示出混凝土裂缝的像素级识别结果，即为语义分割结果图，并且计算该语义分割结果与混凝土裂缝图像中每一个像素的真实标签的交占比(IoU)及计算时间。结果表明，在50张低分辨率(768×768)图像上的平均识别精度达到IoU＝0.79，计算时间为平均每张0.15秒；在50张高分辨率(1936×1296)图像上的平均识别精度达到IoU＝0.62，计算时间为平均每张0.58秒。结果表明，本发明对实桥拍摄的混凝土裂缝图像具有较好的识别效果，并且输出延迟在1秒以内，保证本发明应用于实际桥检过程的高精度和高效率。

如图7所示，为本发明用于斜拉桥钢箱梁微小钢材疲劳裂纹病害的识别效果示例图，图7中，从左到右的第一列(a)列中的图为钢箱梁微小疲劳裂纹图像，第二列(b)列中的图为钢箱梁微小疲劳裂纹的真实标签图，第三列(c)列中的图为钢箱梁微小疲劳裂纹的语义分割结果图，具体如下：

首先将摄像头拍摄的钢箱梁微小疲劳裂纹图像，按512×512的窗口大小和256像素的重叠区域划分成子图像，然后将子图像输入至训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型中，最后在图像结果显示装置显示出钢箱梁微小疲劳裂纹的语义分割结果图，并且计算语义分割结果与钢箱梁微小疲劳裂纹图像每一个像素的真实标签的交占比(IoU)及计算时间。结果表明，在200张超高分辨率(4928×3264)并且含有复杂背景干扰的图像上，平均识别精度达到IoU＝0.46，计算时间为平均每张0.91秒。结果表明，本发明对实桥拍摄的含有复杂背景和手写字迹干扰的钢箱梁微小疲劳裂纹图像具有较好的识别效果，并且输出延迟在1秒以内，保证本发明应用于实际桥检过程的高精度和高效率。

如图8所示，为本发明用于实桥混凝土剥落和钢筋暴露病害的识别效果示例图，图8中，从左到右的第一列(a)列中的图为实桥混凝土剥落和钢筋暴露图像，第二列(b)列中的图为实桥混凝土剥落和钢筋暴露的语义分割结果图，第三列(c)列中的图为实桥混凝土剥落和钢筋暴露的真实标签图，具体如下：

首先将摄像头拍摄的实桥混凝土剥落和钢筋暴露图像，按512×512的窗口大小和256像素的重叠区域划分成子图像，然后将子图像输入至训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型中，最后在图像结果显示装置显示出实桥混凝土剥落和钢筋暴露的语义分割结果图，并且计算识别结果与实桥混凝土剥落和钢筋暴露图像中每一个像素的真实标签的交占比(IoU)及计算时间。结果表明，对12张实际桥检拍摄高分辨率(4288×2848)含有复杂构件边界和杂物干扰的图像平均识别精度达到IoU＝0.73，计算时间为平均每张0.81秒。结果表明，本发明对实桥拍摄的含有复杂构件边界和杂物干扰的混凝土剥落和钢筋暴露图像具有较好的识别效果，并且输出延迟在1秒以内，保证本发明应用于实际桥检过程的高精度和高效率。

以上对本发明所提出的桥梁健康诊断的计算机视觉方法和智能摄像系统进行了详细介绍，对本发明的硬件系统组成、识别模型架构、轻量化改进、训练过程和具体实施方式进行了阐述。其中，对具体设备参数或型号以及算法参数设置只是用于说明本发明具体的实现形式，帮助理解本发明的方法及核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在硬件设备选择、参数选取、具体实施方式及应用范围等方面均可能会根据实际场景和条件限制而有所改变。因此，本文中有关硬件设备选择、参数选取、具体实施方式及应用范围等方面的内容不应理解为对本发明的限制。

Claims (10)

1.桥梁健康诊断的计算机视觉方法，其特征在于，所述方法包括：

步骤1、建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型包括编码器和解码器；

所述编码器包括骨干网络和空洞卷积金字塔池化；

所述骨干网络包括卷积模块和若干个瓶颈残差模块，第一层为所述卷积模块，所述卷积模块用于对输入图像进行低层级特征提取，输出低层级特征图至第一个瓶颈残差模块；

所述若干个瓶颈残差模块顺次连接，每个瓶颈残差模块依次对上一层模块输出的特征图的尺寸按预设值进行缩小并进行较高层级特征提取，输出相应的特征图，当满足预设缩小条件后，对上一层模块输出的特征图进行较高层级特征提取，最终获取较高层级特征图；

所述空洞卷积金字塔池化对所述较高层级特征图进行不同尺度感受野的特征提取，获取多个不同尺度感受野特征图，并对所述多个不同尺度感受野特征图的通道进行合并，获取高层级特征图；

所述解码器对所述高层级特征图进行上采样，获取上采样后的高层级特征图，并对所述骨干网络中第一个瓶颈残差模块输出的特征图进行卷积，获取卷积后的特征图，将所述上采样后的高层级特征图和所述卷积后的特征图的通道进行合并，获取中间特征图，对所述中间特征图进行卷积和上采样，最终获取与所述输入图像尺寸相同的语义分割结果图；

步骤2、建立桥梁多类型病害的图像数据集，将所述图像数据集按照病害类型进行分类，获取每一个病害类型的图像集，将所述图像集分为训练集和测试集；

利用所述训练集和所述测试集对所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型进行训练，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；

步骤3、实时采集桥梁图像，根据所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，将所述桥梁图像分成子图像；

将所述子图像输入所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，获取所述子图像的语义分割结果图；

将所述子图像的语义分割结果图进行拼接，获取所述桥梁图像的语义分割结果图。

2.根据权利要求1所述的桥梁健康诊断的计算机视觉方法，其特征在于，所述瓶颈残差模块包括第一瓶颈残差模块和第二瓶颈残差模块；

所述第二瓶颈残差模块的步长是所述第一瓶颈残差模块的步长的2倍。

3.根据权利要求2所述的桥梁健康诊断的计算机视觉方法，其特征在于，所述第一瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块、和第二卷积模块，还包括特征值加和模块和残差连接；

所述第二瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块和第二卷积模块；

所述第一卷积模块为1×1卷积，其激活函数为ReLU6激活函数；所述深度可分离卷积模块为3×3卷积，其激活函数为ReLU6激活函数；所述第二卷积模块为1×1卷积，其激活函数为linear激活函数；

所述第一卷积模块和所述残差连接的输入均为上一层模块输出的特征图；

所述特征值加和模块将残差连接输出的特征图上的特征值与对应的第二卷积模块输出的特征图上的特征值进行加和，获取特征加和后的特征图。

4.根据权利要求1所述的桥梁健康诊断的计算机视觉方法，其特征在于，所述空洞卷积金字塔池化包括1×1卷积模块、若干个空洞卷积模块、全局平均池化模块和通道合并模块；

所述1×1卷积模块对所述较高层级特征图的每个像素点进行特征提取，获取第一尺度感受野特征图；

所述若干个空洞卷积模块对所述较高层级特征图进行不同空洞率的特征提取，获取多个不同空洞率的尺度感受野特征图，其中，每个所述空洞卷积模块的卷积核具有相同的尺寸、不同的空洞率和与所述空洞率相匹配的补零率；

所述全局平均池化模块对所述较高层级特征图进行全局平均池化，获取平均池化的尺度感受野特征图；

所述通道合并模块对所述第一尺度感受野特征图、所述多个不同空洞率的尺度感受野特征图和所述平均池化的尺度感受野特征图的通道进行合并，获取高层级特征图。

5.桥梁健康诊断的计算机视觉装置，其特征在于，所述装置包括：图像获取模块、模型建立模块、模型训练模块和图像识别模块；

所述图像获取模块用于采集桥梁多类型病害的图像数据集和桥梁图像；

所述模型建立模块用于建立桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型包括编码器和解码器；

所述编码器包括骨干网络和空洞卷积金字塔池化；

所述骨干网络包括卷积模块和若干个瓶颈残差模块，第一层为所述卷积模块，所述卷积模块用于对输入图像进行低层级特征提取，输出低层级特征图至第一个瓶颈残差模块；

所述若干个瓶颈残差模块顺次连接，每个瓶颈残差模块依次对上一层模块输出的特征图的尺寸按预设值进行缩小并进行较高层级特征提取，输出相应的特征图，当满足预设缩小条件后，对上一层模块输出的特征图进行较高层级特征提取，最终获取较高层级特征图；

所述空洞卷积金字塔池化对所述较高层级特征图进行不同尺度感受野的特征提取，获取多个不同尺度感受野特征图，并对所述多个不同尺度感受野特征图的通道进行合并，获取高层级特征图；

所述解码器对所述高层级特征图进行上采样，获取上采样后的高层级特征图，并对所述骨干网络中第一个瓶颈残差模块输出的特征图进行卷积，获取卷积后的特征图，将所述上采样后的高层级特征图和所述卷积后的特征图的通道进行合并，获取中间特征图，对所述中间特征图进行卷积和上采样，最终获取与所述输入图像尺寸相同的语义分割结果图；

所述模型训练模块用于建立桥梁多类型病害的图像数据集，将所述图像数据集按照病害类型进行分类，获取每一个病害类型的图像集，将所述图像集分为训练集和测试集；

利用所述训练集和所述测试集对所述桥梁多类型病害的轻量化语义分割深度卷积神经网络模型进行训练，获取训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型；

所述图像识别模块用于实时采集桥梁图像，根据所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，将所述桥梁图像分成子图像；

将所述子图像输入所述训练后的桥梁多类型病害的轻量化语义分割深度卷积神经网络模型，获取所述子图像的语义分割结果图；

将所述子图像的语义分割结果图进行拼接，获取所述桥梁图像的语义分割结果图。

6.根据权利要求5所述的桥梁健康诊断的计算机视觉装置，其特征在于，所述模型建立模块中的所述瓶颈残差模块包括第一瓶颈残差模块和第二瓶颈残差模块；

所述第二瓶颈残差模块的步长是所述第一瓶颈残差模块的步长的2倍。

7.根据权利要求6所述的桥梁健康诊断的计算机视觉装置，其特征在于，所述第一瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块、和第二卷积模块，还包括特征值加和模块和残差连接；

所述第二瓶颈残差模块包括顺次连接的第一卷积模块、深度可分离卷积模块和第二卷积模块；

所述第一卷积模块为1×1卷积，其激活函数为ReLU6激活函数；所述深度可分离卷积模块为3×3卷积，其激活函数为ReLU6激活函数；所述第二卷积模块为1×1卷积，其激活函数为linear激活函数；

所述第一卷积模块和所述残差连接的输入均为上一层模块输出的特征图；

所述特征值加和模块将残差连接输出的特征图上的特征值与对应的第二卷积模块输出的特征图上的特征值进行加和，获取特征加和后的特征图。

8.根据权利要求5所述的桥梁健康诊断的计算机视觉装置，其特征在于，所述模型建立模块中的所述空洞卷积金字塔池化包括1×1卷积模块、若干个空洞卷积模块、全局平均池化模块和通道合并模块；

所述1×1卷积模块对所述较高层级特征图的每个像素点进行特征提取，获取第一尺度感受野特征图；

所述若干个空洞卷积模块对所述较高层级特征图进行不同空洞率的特征提取，获取多个不同空洞率的尺度感受野特征图，其中，每个所述空洞卷积模块的卷积核具有相同的尺寸、不同的空洞率和与所述空洞率相匹配的补零率；

所述全局平均池化模块对所述较高层级特征图进行全局平均池化，获取平均池化的尺度感受野特征图；

所述通道合并模块对所述第一尺度感受野特征图、所述多个不同空洞率的尺度感受野特征图和所述平均池化的尺度感受野特征图的通道进行合并，获取高层级特征图。

9.桥梁健康诊断的智能摄像系统，其特征在于，所述系统包括：图像获取单元、分析计算单元、显示装置和电源；

所述图像获取单元用于采集桥梁图像；

所述分析计算单元用于执行权利要求1-4任一项所述的方法，获取所述桥梁图像的语义分割结果图；

所述显示装置用于显示所述桥梁图像的语义分割结果图；

所述电源用于为所述图像获取单元、所述分析计算单元和所述显示装置供电。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行权利要求1-4任一项所述的方法。

Images