CN115496941A - 基于知识增强计算机视觉的结构健康诊断方法 - Google Patents

Abstract

本发明提出基于知识增强计算机视觉的结构健康诊断方法。所述方法具体包括：步骤一：构建结构健康诊断层级图像数据集；步骤二：构建知识增强计算机视觉识别网络模型；步骤三：训练知识增强计算机视觉识别网络模型，获得多类型场景、结构、构件及损伤图像的通用分割头；步骤四：移植通用分割头至预测网络模型，利用考虑多类型几何约束的损失函数训练至收敛。本发明通过自监督和对比学习实现，无需对图像进行标记，与传统人工标记和图像处理的方法相比，避免了繁琐的图像标注，节省了大量人工标注成本，提升了效率。

Description

基于知识增强计算机视觉的结构健康诊断方法

技术领域

本发明属于结构健康监测技术领域，特别是涉及基于知识增强计算机视觉的结构健康诊断方法。所述方法可以直接应用的技术领域包括智慧基础设施、结构损伤识别、智能桥梁巡检、结构地震灾害识别等。

背景技术

目前，许多重要的基础设施经过数十年的服役期，出现了多种类型的结构损伤，如混凝土剥落、拉索护套腐蚀、钢筋裸露、钢材腐蚀、钢材疲劳裂纹等。若结构受损而未及时维护，其使用寿命将无法保证且形成安全隐患，所以需要对现有服役结构进行及时检测与维护。现有的结构损伤检测方式主要为人工巡检，存在工作强度大、有安全隐患、检测时间长等问题，并且检测效果严重依赖检测人员的经验。近年来，计算机视觉和深度学习技术获得了飞速发展,深度学习算法在图像分类、目标检测、语义分割等领域表现卓越。将基于深度神经网络的计算机视觉前沿算法应用到土木工程损伤检测中，能够使结构损伤识别过程自动化、智能化，提高损伤识别效率和准确度，从而克服传统方法的不足。

现有基于计算机视觉的有监督结构损伤识别方法，十分依赖训练数据的数量、质量和完备性。然而，在土木工程结构实际服役场景中所能获得的数据集往往存在数量不充分、特征不完备、标签不准确等问题。同时，有监督卷积神经网络需要利用大量手工标注的像素级别信息，而通过人工手动地对图像进行像素级别的标注耗时耗力，这也一定程度上限制了相关视觉任务分析和处理的发展。此外，有监督学习的结构损伤识别方法的泛化能力差，即某次训练所得模型仅对本次使用数据集有较好的表达能力，而面对新的数据集时可能无法取得理想效果，这是由不同数据集之间特征分布的差异性造成的。同时，对于土木工程领域，耦合多类型损伤图像数据较少，原始图像难以采集，依靠有限数据训练得到的模型识别能力不足，难以取得理想识别效果。目前，基于深度学习的计算机视觉方法缺乏物理、几何知识指导，模型可解释性弱。

可以发现，基于传统有监督深度学习的识别方法十分依赖监督条件，即首先要收集大量的训练数据和标签，并且训练样本的数量越多、类别越丰富、标签精度越高，模型的识别和泛化能力就越好。然而，在实际场景下，数据集往往具有信息不完备、样本不充分、数据不平衡、标签不精准的特点，导致训练模型的特征表达能力不全面，进而引起在训练得到的模型识别和泛化能力较差。

发明内容

本发明目的是为了解决现有技术中的问题，提出了基于知识增强计算机视觉的结构健康诊断方法。

本发明是通过以下技术方案实现的，本发明提出基于知识增强计算机视觉的结构健康诊断方法，所述方法具体包括：

步骤一：构建结构健康诊断层级图像数据集；

收集整理结构健康监测领域的多类型场景、结构、构件及损伤图像，通过图像聚类算法分析数据集的一般结构层次与级联关系，构建具有层级关系的结构健康诊断图像数据集；

步骤二：构建知识增强计算机视觉识别网络模型；

以对比学习为骨架，将健康监测领域的先验几何物理知识融入网络模型，构建知识增强计算机视觉识别网络模型；

步骤三：训练知识增强计算机视觉识别网络模型，获得多类型场景、结构、构件及损伤图像的通用分割头；

每次对模型输入一个批次的数据，获得模型的输出，使用综合损失函数计算网络损失值；使用误差反向传播算法获得网络损失对模型参数的梯度，使用梯度下降算法更新网络参数；如此循环往复，不断进行模型参数更新直至模型收敛，获得多类型场景、结构、构件及损伤图像的通用分割头；

步骤四：移植通用分割头至预测网络模型，利用考虑多类型几何约束的损失函数训练至收敛；

将由步骤三训练完成的通用分割头移植至预测网络模型，利用考虑多类型几何约束的损失函数训练预测网络模型至模型收敛，然后冻结网络参数，将经过预处理后的待预测图像送入预测网络模型，得到预测网络模型的输出，即为待预测图像的识别结果。

进一步地，在步骤一中，构建的多类型场景、结构、构件及损伤图像数据集在主体结构与构件、构件与损伤之间包含着空间关系、层级关系、相同结构的多尺度信息、以及不同结构与构件位置关系信息；数据集由场景、结构、构件、损伤四个大类构成；场景类图像作为其他图像的背景噪声，单独形成一个集合；结构由大视野整体结构和单体结构两个集合构成，提供单个结构的整体信息；构件划分为主梁、桥台、盖梁、索塔、桥墩和拉索六类局部构件集合；损伤划分混凝土裂缝、钢筋裸露、金属腐蚀、混凝土麻面、钢箱梁裂缝和路面坑槽六类结构损伤集合。

进一步地，构建结构健康诊断层级图像数据集的具体方法如下：

(1)针对每个拟定的小集合手动选取一个初始中心样本；

(2)利用K-means算法，把图像数据集的每张图像分配到距离最近的中心样本的簇中，然后重新计算每个簇的中心样本，再迭代的进行图像分配和中心样本的更新，直至每类簇中心点的变化达到无穷小，或者达到指定的迭代次数；

(3)计算完成后的各簇即为构成结构健康诊断层级图像数据集的各个小集合，以此完成数据集的建立。

进一步地，在步骤二中，

以对比学习为模型骨架，模型骨架包括学生子网络和教师子网络两部分，两个子网络分别包括数据增强模块、冻结的视觉骨干网络、分割头、L2正则化层四部分；所述教师子网络还包括额外的字典模块；

所述数据增强模块对不同层级图像数据集的数据采取不同的增强方式：对于场景、结构和构件大视野图像采用裁剪、光照变换、裁剪和色彩改变的增强策略，对于损伤类图像采用旋转、光照变换和色彩改变的增强方式；冻结的视觉骨干网络基于DINO网络预训练完成，在学生子网络和教师子网络中采用的参数完全相同；分割头的形式为由1×1卷积核构成的前馈神经网络；

所述教师子网络的字典模块，具体包括：

(1)字典模块为固定的队列大小，大小为K，且K远大于N，其中存储了足够多的负样本特征；

(2)字典模块中的样本特征(k₁,k₂,k₃,k₄,k₅,…,k_k)经由教师子网络缓慢更新的分割头编码后通过L2正则化生成；

(3)字典在每一个训练批次后更新，每次只更新N个样本，当前批次的全部N个样本入队，最早入队批次的全部N个样本出队；

在学生子网络中设计了对比网络模块，具体包括：

(1)由学生子网络中的一对图像经过冻结的视觉骨干网络生成特征张量f和g，然后计算得到f和g的特征相关张量F；

(2)由冻结的视觉骨干网络生成的特征张量f和g在经过分割头后分别生成分割特征s和t，然后计算分割特征s和t的分割相关张量S；

(3)最后由特征相关张量F和分割相关张量S计算得到互相关损失函数；

网络训练的目标函数为由对比网络模块的互相关损失函数和骨干网络模块的对比损失函数构成的综合损失函数，如下式所示：

Loss＝α·L_corr+(1-α)·L_cont (1)

式中，Loss为网络的综合损失函数；α为权重系数，用以在网络的不同训练阶段调整子模块的权重；L_corr为张量F与张量S逐像素相乘后计算得到的互相关损失函数；L_cont为训练批次图像经过学生子网络与教师子网络后的分割特征在经过L2正则化层后逐一计算余弦相似度得到的对比损失函数。

进一步地，构成知识增强计算机视觉识别网络训练网络综合损失函数的分项损失函数具体包括：

所述互相关损失函数L_corr定义为：

式中，b为超参数；

为经空间中心化操作后的特征相关张量；S_hwij为分割相关张量；

式中，f_chw，g_cij为经过骨干网络后得到的特征张量；F_hwij为从f_chw，g_cij计算得到的特征相关张量；

为F_hwij经空间中心化操作后得到的特征相关张量；

式中，s_chw，t_cij为经过分割头后得到的分割特征张量；S_hwij为从s_chw，t_cij计算得到的分割相关张量；

所述对比损失函数L_cont定义为：

式中，q_i为训练批次的图像经学生子网络后正向得到的特征向量，共N个，为训练批次图像的数量；k_j为字典模块中存储的特征向量，共K个，包括原有字典中存储的特征向量以及该训练批次的图像经教师子网络正向得到的特征向量；其中k₊为k_j中的正例样本；τ为温度参数。

进一步地，所述步骤三具体为：

步骤三一：训练网络阶段，每次对模型输入一个由结构健康诊断层级图像数据集生成的训练批次，随后经过不同的数据增强模块传入由学生子网络与教师子网络构成的骨干网络，之后通过预训练完成的冻结的视觉骨干网络、分割头以及L2正则化层，计算得到对比损失函数；

步骤三二：除骨干网络外，图像经学生子网络的冻结的视觉骨干网络模块后生成的特征张量计算得到特征相关张量F，经分割头生成的分割特征张量计算得到分割相关张量S；特征相关张量F与分割相关张量S计算得到互相关损失函数；在得到模型的输出后，结合互相关损失函数与对比损失函数加权计算网络得到网络的综合损失函数；

步骤三三：学生子网络和教师子网络的初始权重参数是相同的，学生子网络使用误差反向传播算法更新模型的梯度，使用梯度下降算法根据计算得到的梯度对网络进行梯度下降，更新网络的参数；在教师子网络使用梯度停止阻止梯度传播，教师子网络通过学生子网络的参数采用指数移动平均的方法更新，更新公式如下式：

θ_t←λθ_t+(1-λ)θ_s (6)

式中，λ为动量参数；θ_t为教师子网络的参数；θ_s为学生子网络的参数；

步骤三四：如此循环往复，不断进行模型参数更新直至模型收敛。

进一步地，所述步骤四具体为：

步骤四一：预测模型阶段，输入图像首先经过与训练网络相同的冻结的视觉骨干网络，然后通过全局平均池化空间特征来提取图像全局特征张量；

步骤四二：之后通过移植的分割头得到初步分割结果，再将分割后的特征经过聚类形成的清晰的簇，并为之分配类别；然后由全连接条件随机场细化分割结果，以进一步提高其空间分辨率；

步骤四三：最后将输出结果经过多类型几何约束损失函数分析计算误差后采用反向传播算法对网络中的权重进行优化；最终经过多次训练迭代得到最优化权重；

步骤四四：去除多类型几何约束损失函数，冻结网络参数，将经过预处理后的待预测图像输入网络经过正向传播过程后从输出模块得到待预测图像的识别结果。

进一步地，构建知识增强计算机视觉识别网络预测网络的损失函数具体包括：

所述多类型几何约束损失函数GeometryLoss定义为：

GeometryLoss＝α₁·L_texture+α₂·L_hole+α₃·L_area+α₄·L_border (7)

式中，α₁,α₂,α₃,α₄为参与系数；L_texture为纹理相似度损失项损失函数；L_hole为连通域损失项损失函数；L_area为区域相似度损失项损失函数；L_border为边界能量损失项损失函数。

进一步地，构建多类型几何约束损失函数GeometryLoss损失函数具体包括：

(一)所述纹理相似度损失项损失函数L_texture定义为：

式中，cos_i为任意两个相同损伤区域间的余弦相似度；cos_j为任意损伤区域与背景区域的余弦相似度；

cos_i以及cos_j的具体计算过程如下式：

式中，F₁,F₂为任意损伤区域的特征向量；f_1k，f_2k为特征向量F₁,F₂的第k个特征值；

公式(9)中特征向量F定义为：

F＝[Con,Asm,Ent,H,Corr] (10)

公式(10)中的各项的具体计算方式如下：

式中，P(i,j)为经归一化后的灰度共生矩阵；Con为灰度共生矩阵统计值的对比度项，即特征向量F的第一个特征值f₁；Asm为灰度共生矩阵统计值的能量项，即特征向量F的第二个特征值f₂；Ent为灰度共生矩阵统计值的熵项，即特征向量F的第三个特征值f₃；H为灰度共生矩阵统计值的逆方差项，即特征向量F的第四个特征值f₄；Corr为灰度共生矩阵统计值的相关性项，即特征向量F的第五个特征值f₅；

(二)所述连通域损失项损失函数L_hole定义为：

式中，s_j为模型误识别的孔洞面积；s_i为模型识别的损伤面积；

(三)所述区域相似度损失项损失函数L_area定义为：

式中，

为第i类损伤的第j个区域与第个k区域的Wasserstein距离；

为任意损伤区域与背景区域的Wasserstein距离；

为第i类损伤的第j个区域的概率分布；

为背景区域的概率分布；

(四)所述边界能量损失项损失函数L_border定义为：

式中，L(C)表示识别区域轮廓曲线C的长度；μ为长度系数，取值决定于被检测目标的尺寸；Area(inside(C))为曲线C所围的内部区域的面积；υ为面积参数；I(x,y)为图像内任一像素点的灰度；c_o为曲线C所围的内部区域的平均灰度；c_b为曲线C所围的外部区域的平均灰度。

进一步地，利用连通域损失项损失函数L_hole损失函数计算前应进行孔洞识别，具体包括：

首先根据识别对象外轮廓特征，将其分为凸集(a)和非凸集(b)；

(1)若外轮廓为凸集则由凸集的定义：

如果过集合C中任意两点的线段都在C内，则称C为凸集，即：

从而判断识别对象的孔洞区域；

(2)若外轮廓为非凸集则先对外轮廓经凸组合运算得到外轮廓凸包，运算过程如下：

对于

0≤λ₁,λ₂,…,λ_m满足λ₁+λ₂+…+λ_m＝1，称

λ₁x₁+λ₂x₂+…+λ_mx_m

为

的一个凸组合，

集合C中点所有可能的凸组合构成的集合称作C的凸包，记作Conv(C)，从而判断识别对象的孔洞区域。

本发明的有益效果为：

1、本发明提供了一种广义的土木工程场景、结构、构件、损伤识别框架，具有通用识别能力。识别对象由下游任务决定，包括但不限于场景识别(如山区、海洋、城市等)、结构识别(如大视野整体结构、单体结构桥梁等)、构件识别(主梁、桥台、盖梁、索塔、桥墩和拉索等)及损伤识别(混凝土裂缝、钢筋裸露、金属腐蚀、混凝土麻面、钢箱梁裂缝和路面坑槽等)等；

2、本发明所提方法支持待识别场景和对象的扩展，只需要在训练阶段利用下游识别任务中不同结构层次的图像训练分割头即可实现对新识别任务的泛化；

3、本发明通过自监督和对比学习实现，无需对图像进行标记，与传统人工标记和图像处理的方法相比，避免了繁琐的图像标注，节省了大量人工标注成本，提升了效率；

4、本发明解决了传统方法速度慢、实时性差、费时费力、需要人工巡检、依赖专家经验的不足，提高了健康诊断的图像语义分割任务的自动化、智能化程度和准确性；

5、本发明通过采用大规模预训练模型克服了有限样本训练难题，使模型具有较强的通用特征提取能力与泛化能力；

6、本发明通过设计多类型几何约束损失函数，使实际识别结果具有较强的可解释性，增强了识别结果的物理几何意义。

附图说明

图1是基于知识增强计算机视觉的结构健康诊断方法流程图。

图2是结构健康诊断层级图像数据集示意图。

图3是知识增强计算机视觉识别网络训练网络示意图。

图4是知识增强计算机视觉识别网络训练网络(对比网络)示意图。

图5是知识增强计算机视觉识别网络预测网络示意图。

图6是孔洞识别算法实现过程示意图。

图7是本发明所提方法对结构多类型损伤的语义分割识别效果示例图，其中，(a)为混凝土裂缝，(b)为钢结构表面腐蚀，(c)为斜拉索护套损伤，(d)为桥梁其他表观损伤。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1-图7，本发明提出基于知识增强计算机视觉的结构健康诊断方法，所述方法具体包括：

步骤一：构建结构健康诊断层级图像数据集；

收集整理结构健康监测领域的多类型场景、结构、构件及损伤图像，通过图像聚类算法分析数据集的一般结构层次与级联关系，构建具有层级关系的结构健康诊断图像数据集；

步骤二：构建知识增强计算机视觉识别网络模型；

以对比学习为骨架，将健康监测领域的先验几何物理知识融入网络模型，构建知识增强计算机视觉识别网络模型；

步骤三：训练知识增强计算机视觉识别网络模型，获得多类型场景、结构、构件及损伤图像的通用分割头；

每次对模型输入一个批次的数据，获得模型的输出，使用综合损失函数计算网络损失值；使用误差反向传播算法获得网络损失对模型参数的梯度，使用梯度下降算法更新网络参数；如此循环往复，不断进行模型参数更新直至模型收敛，获得多类型场景、结构、构件及损伤图像的通用分割头；

步骤四：移植通用分割头至预测网络模型，利用考虑多类型几何约束的损失函数训练至收敛；

将由步骤三训练完成的通用分割头移植至预测网络模型，利用考虑多类型几何约束的损失函数训练预测网络模型至模型收敛，然后冻结网络参数，将经过预处理后的待预测图像送入预测网络模型，得到预测网络模型的输出，即为待预测图像的识别结果。

在步骤一中，构建的多类型场景、结构、构件及损伤图像数据集在主体结构与构件、构件与损伤之间包含着空间关系、层级关系、相同结构的多尺度信息、以及不同结构与构件位置关系信息；数据集由场景、结构、构件、损伤四个大类构成；场景类图像作为其他图像的背景噪声，单独形成一个集合；结构由大视野整体结构和单体结构两个集合构成，提供单个结构的整体信息；构件划分为主梁、桥台、盖梁、索塔、桥墩和拉索六类局部构件集合；损伤划分混凝土裂缝、钢筋裸露、金属腐蚀、混凝土麻面、钢箱梁裂缝和路面坑槽六类结构损伤集合。

构建结构健康诊断层级图像数据集的具体方法如下：

(1)针对每个拟定的小集合手动选取一个初始中心样本；

(2)利用K-means算法，把图像数据集的每张图像分配到距离最近的中心样本的簇中，然后重新计算每个簇的中心样本(取平均值)，再迭代的进行图像分配和中心样本的更新，直至每类簇中心点的变化达到无穷小，或者达到指定的迭代次数；

(3)计算完成后的各簇即为构成结构健康诊断层级图像数据集的各个小集合，以此完成数据集的建立。

包含多类型场景、结构、构件及损伤的结构健康诊断层级图像数据集示意图如图2所示。需要指出的是，结构健康诊断层级图像数据集可以根据所需考虑场景、结构、构件及损伤的不同形式构建成不同的样式，以上只是列举出了一种在桥梁健康诊断领域中的可能形式；对于待识别的场景、结构、构件及损伤的具体形式，可以根据目标对象的不同而建立不同的集合。本发明不再针对其他可能出现的结构健康诊断层级图像数据集形式进行一一列举。

在步骤二中，

以对比学习为模型骨架，模型骨架包括学生子网络和教师子网络两部分，两个子网络分别包括数据增强模块、冻结的视觉骨干网络、分割头、L2正则化层四部分；所述教师子网络还包括额外的字典模块；

所述数据增强模块对不同层级图像数据集的数据采取不同的增强方式：对于场景、结构和构件大视野图像采用裁剪、光照变换、裁剪和色彩改变的增强策略，对于损伤类图像采用旋转、光照变换和色彩改变的增强方式；冻结的视觉骨干网络基于DINO网络预训练完成，此处采用的具体形式为ViT-Small，在学生子网络和教师子网络中采用的参数完全相同；分割头的形式为由1×1卷积核构成的前馈神经网络；

所述教师子网络的字典模块，具体包括：

(1)字典模块为固定的队列大小，大小为K，且K远大于N，其中存储了足够多的负样本特征(队列中的样本无需梯度回传，因此可以存放大量的负样本)；

(2)字典模块中的样本特征(k₁,k₂,k₃,k₄,k₅,…,k_k)经由教师子网络缓慢更新的分割头编码后通过L2正则化生成；生成的样本特征具有持续性及简洁的语义信息，一致性特征的保持有利于对比学习的训练。

(3)字典在每一个训练批次后更新，每次只更新N个样本，当前批次的全部N个样本入队，最早入队批次的全部N个样本出队；

在学生子网络中设计了对比网络模块，示意图如图4所示，具体包括：

(1)由学生子网络中的一对图像(图像1和图像2)经过冻结的视觉骨干网络生成特征张量f和g，然后计算得到f和g的特征相关张量F；

(2)由冻结的视觉骨干网络生成的特征张量f和g在经过分割头后分别生成分割特征s和t，然后计算分割特征s和t的分割相关张量S；

(3)最后由特征相关张量F和分割相关张量S计算得到互相关损失函数；

网络训练的目标函数为由对比网络模块的互相关损失函数和骨干网络模块的对比损失函数构成的综合损失函数，如下式所示：

Loss＝α·L_corr+(1-α)·L_cont (1)

式中，Loss为网络的综合损失函数；α为权重系数(0≤α≤1)，用以在网络的不同训练阶段调整子模块的权重；L_corr为张量F与张量S逐像素相乘后计算得到的互相关损失函数；L_cont为训练批次图像经过学生子网络与教师子网络后的分割特征在经过L2正则化层后逐一计算余弦相似度得到的对比损失函数。

需要指出的是，数据增强模块对于图像的具体增强方式可根据结构健康诊断层级图像数据集的图像特点针对性地选取其他形式，本发明不再针对数据增强模块可能具有的其他增强形式进行一一列举。冻结的视觉骨干网络和分割头的具体形式可以根据任务和目标对象的不同，选取不同的网络形式。以上列举的冻结的视觉骨干网络形式为基于DINO预训练完成的ViT-Small网络，分割头则是由简单的前馈神经网络构成。对于不同的下游任务(图像分类、目标检测、语义分割)，所选取的冻结的视觉骨干网络和分割头的具体形式可以存在差异，也就是会存在其他可能的网络形式。本发明不再针对冻结的视觉骨干网络和分割头可能具有的其他形式进行一一列举。

构成知识增强计算机视觉识别网络训练网络综合损失函数的分项损失函数具体包括：

所述互相关损失函数L_corr定义为：

式中，b为超参数，目的是防止模型坍塌；

为经空间中心化操作后的特征相关张量；S_hwij为分割相关张量；

式中，f_chw，g_cij为经过骨干网络后得到的特征张量；F_hwij为从f_chw，g_cij计算得到的特征相关张量

为F_hwij经空间中心化操作后得到的特征相关张量；

式中，s_chw，t_cij为经过分割头后得到的分割特征张量

S_hwij为从s_chw，t_cij计算得到的分割相关张量

所述对比损失函数L_cont定义为：

式中，q_i为训练批次的图像经学生子网络后正向得到的特征向量，共N个，为训练批次图像的数量；k_j为字典模块中存储的特征向量，共K个，包括原有字典中存储的特征向量以及该训练批次的图像经教师子网络正向得到的特征向量；其中k₊为k_j中的正例样本(即为与q_i相同的原始图像经教师子网络后得到的特征向量)；τ为温度参数。

式5的分子表示q_i对k₊的点积。描述q_i和k₊两个向量之间的距离，分母表示：q_i对所有k_j的点积，包含所有正例和负例。

所述步骤三具体为：

步骤三一：训练网络阶段，每次对模型输入一个由结构健康诊断层级图像数据集生成的训练批次，随后经过不同的数据增强模块传入由学生子网络与教师子网络构成的骨干网络，之后通过预训练完成的冻结的视觉骨干网络、分割头以及L2正则化层，计算得到对比损失函数；

步骤三二：除骨干网络外，图像经学生子网络的冻结的视觉骨干网络模块后生成的特征张量计算得到特征相关张量F，经分割头生成的分割特征张量计算得到分割相关张量S；特征相关张量F与分割相关张量S计算得到互相关损失函数；在得到模型的输出后，结合互相关损失函数与对比损失函数加权计算网络得到网络的综合损失函数；

步骤三三：学生子网络和教师子网络的初始权重参数是相同的，学生子网络使用误差反向传播算法更新模型的梯度，使用梯度下降算法根据计算得到的梯度对网络进行梯度下降，更新网络的参数；在教师子网络使用梯度停止阻止梯度传播，教师子网络通过学生子网络的参数采用指数移动平均的方法更新，更新公式如下式：

θ_t←λθ_t+(1-λ)θ_s (6)

式中，λ为动量参数；θ_t为教师子网络的参数；θ_s为学生子网络的参数；

步骤三四：如此循环往复，不断进行模型参数更新直至模型收敛。

步骤四的主要内容为将由步骤三训练完成的通用分割头(图3教师子网络中虚线框模块)移植至预测网络(如图5所示)，利用多类型几何约束损失函数训练预测网络至模型收敛，然后冻结网络参数，将经过预处理后的待预测图像送入预测网络，得到预测网络的输出，即为待预测图像的识别结果。所述步骤四具体为：

步骤四一：预测模型阶段，输入图像首先经过与训练网络相同的冻结的视觉骨干网络，然后通过全局平均池化空间特征来提取图像全局特征张量；

步骤四二：之后通过移植的分割头得到初步分割结果，再将分割后的特征经过聚类形成的清晰的簇，并为之分配类别；然后由全连接条件随机场细化分割结果，以进一步提高其空间分辨率；

步骤四三：最后将输出结果经过多类型几何约束损失函数分析计算误差后采用反向传播算法对网络中的权重进行优化；最终经过多次训练迭代得到最优化权重；

步骤四四：去除多类型几何约束损失函数，冻结网络参数，将经过预处理后的待预测图像输入网络经过正向传播过程后从输出模块得到待预测图像的识别结果。

构建知识增强计算机视觉识别网络预测网络的损失函数具体包括：

所述多类型几何约束损失函数GeometryLoss定义为：

GeometryLoss＝α₁·L_texture+α₂·L_hole+α₃·L_area+α₄·L_border (7)

式中，α₁,α₂,α₃,α₄为参与系数(0≤α_i≤1)；L_texture为纹理相似度损失项损失函数；L_hole为连通域损失项损失函数；L_area为区域相似度损失项损失函数；L_border为边界能量损失项损失函数。

构建多类型几何约束损失函数GeometryLoss损失函数具体包括：

(一)所述纹理相似度损失项损失函数L_texture定义为：

式中，cos_i为任意两个相同损伤区域间的余弦相似度；cos_j为任意损伤区域与背景区域的余弦相似度；

cos_i以及cos_j的具体计算过程如下式：

式中，F₁,F₂为任意损伤区域的特征向量；f_1k，f_2k为特征向量F₁,F₂的第k个特征值；

F为任意区域的特征向量，由灰度共生矩阵的五个统计量构成，公式(9)中特征向量F定义为：

F＝[Con,Asm,Ent,H,Corr] (10)

公式(10)中的各项的具体计算方式如下：

式中，P(i,j)为经归一化后的灰度共生矩阵；Con为灰度共生矩阵统计值的对比度项，即特征向量F的第一个特征值f₁；Asm为灰度共生矩阵统计值的能量项，即特征向量F的第二个特征值f₂；Ent为灰度共生矩阵统计值的熵项，即特征向量F的第三个特征值f₃；H为灰度共生矩阵统计值的逆方差项，即特征向量F的第四个特征值f₄；Corr为灰度共生矩阵统计值的相关性项，即特征向量F的第五个特征值f₅；

(二)连通域损失项，是为了约束图像识别中孔洞类识别缺陷，所述连通域损失项损失函数L_hole定义为：

式中，s_j为模型误识别的孔洞面积；s_i为模型识别的损伤面积；

(三)区域相似度损失项，是为了使网络分割结果在同类损伤的不同区域间具有较高的相似度，而不同损伤，损伤与背景之间有较强的区分度。所述区域相似度损失项损失函数L_area定义为：

式中，

为第i类损伤的第j个区域与第个k区域的Wasserstein距离；

为任意损伤区域与背景区域的Wasserstein距离；

为第i类损伤的第j个区域的概率分布；

为背景区域的概率分布；

(四)边界能量损失项，所述边界能量项损失函数用于约束分割边缘的平滑与连续性。将识别的损伤区域边缘由一条连续曲线表示，并被定义的一个能量泛函包含，能量最小时的曲线位置就是目标轮廓。通过曲线分割内与外部的差异度量。所述边界能量损失项损失函数L_border定义为：

式中，L(C)表示识别区域轮廓曲线C的长度；μ为长度系数，取值决定于被检测目标的尺寸；Area(inside(C))为曲线C所围的内部区域的面积；υ为面积参数；I(x,y)为图像内任一像素点的灰度；c_o为曲线C所围的内部区域的平均灰度；c_b为曲线C所围的外部区域的平均灰度。

利用连通域损失项损失函数L_hole损失函数计算前应进行孔洞识别，具体包括：

首先根据识别对象外轮廓特征，将其分为凸集(a)和非凸集(b)；

(1)若外轮廓为凸集则由凸集的定义：

如果过集合C中任意两点的线段都在C内，则称C为凸集，即：

从而判断识别对象的孔洞区域；过程如图6，1-1(凸集的定义)所示。

(2)若外轮廓为非凸集则先对外轮廓经凸组合运算得到外轮廓凸包，过程如图6，2-1(凸组合运算)所示。运算过程如下：

对于

0≤λ₁,λ₂,…,λ_m满足λ₁+λ₂+…+λ_m＝1，称

λ₁x₁+λ₂x₂+…+λ_mx_m

为

的一个凸组合，

集合C中点所有可能的凸组合构成的集合称作C的凸包，记作Conv(C)，再由过程如图6，2-2(凸集的定义)所示，从而判断识别对象的孔洞区域。

将本发明提出的基于知识增强计算机视觉的结构健康诊断方法，应用于混凝土裂缝、钢结构表面腐蚀、斜拉索护套损伤、桥梁其他表观损伤等多类型结构损伤的像素级识别任务，所选用的图像数据集为1080张无标注图像，识别结果如图7所示。

本发明提出了一种基于知识增强计算机视觉的结构健康诊断通用方法，其识别对象由下游任务决定，包括但不限于场景识别(如山区、海洋、城市等)、结构识别(如大视野整体结构、单体结构桥梁等)、构件识别(主梁、桥台、盖梁、索塔、桥墩和拉索等)及损伤识别(混凝土裂缝、钢筋裸露、金属腐蚀、混凝土麻面、钢箱梁裂缝和路面坑槽等)等，并且支持识别场景和对象的扩展，只需要在训练阶段利用下游识别任务中不同结构层次的图像训练分割头即可实现在新识别任务的泛化。以上识别结果展示只是用于说明本发明的一种具体实现形式，帮助理解本发明的方法及核心思想，不应理解为对本发明的限制。

以上对本发明所提出的基于知识增强计算机视觉的结构健康诊断方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.基于知识增强计算机视觉的结构健康诊断方法，其特征在于，所述方法具体包括：

步骤一：构建结构健康诊断层级图像数据集；

收集整理结构健康监测领域的多类型场景、结构、构件及损伤图像，通过图像聚类算法分析数据集的一般结构层次与级联关系，构建具有层级关系的结构健康诊断图像数据集；

步骤二：构建知识增强计算机视觉识别网络模型；

以对比学习为骨架，将健康监测领域的先验几何物理知识融入网络模型，构建知识增强计算机视觉识别网络模型；

步骤三：训练知识增强计算机视觉识别网络模型，获得多类型场景、结构、构件及损伤图像的通用分割头；

每次对模型输入一个批次的数据，获得模型的输出，使用综合损失函数计算网络损失值；使用误差反向传播算法获得网络损失对模型参数的梯度，使用梯度下降算法更新网络参数；如此循环往复，不断进行模型参数更新直至模型收敛，获得多类型场景、结构、构件及损伤图像的通用分割头；

步骤四：移植通用分割头至预测网络模型，利用考虑多类型几何约束的损失函数训练至收敛；

将由步骤三训练完成的通用分割头移植至预测网络模型，利用考虑多类型几何约束的损失函数训练预测网络模型至模型收敛，然后冻结网络参数，将经过预处理后的待预测图像送入预测网络模型，得到预测网络模型的输出，即为待预测图像的识别结果。

2.根据权利要求1所述的方法，其特征在于，在步骤一中，构建的多类型场景、结构、构件及损伤图像数据集在主体结构与构件、构件与损伤之间包含着空间关系、层级关系、相同结构的多尺度信息、以及不同结构与构件位置关系信息；数据集由场景、结构、构件、损伤四个大类构成；场景类图像作为其他图像的背景噪声，单独形成一个集合；结构由大视野整体结构和单体结构两个集合构成，提供单个结构的整体信息；构件划分为主梁、桥台、盖梁、索塔、桥墩和拉索六类局部构件集合；损伤划分混凝土裂缝、钢筋裸露、金属腐蚀、混凝土麻面、钢箱梁裂缝和路面坑槽六类结构损伤集合。

3.根据权利要求1所述的方法，其特征在于，构建结构健康诊断层级图像数据集的具体方法如下：

(1)针对每个拟定的小集合手动选取一个初始中心样本；

(2)利用K-means算法，把图像数据集的每张图像分配到距离最近的中心样本的簇中，然后重新计算每个簇的中心样本，再迭代的进行图像分配和中心样本的更新，直至每类簇中心点的变化达到无穷小，或者达到指定的迭代次数；

(3)计算完成后的各簇即为构成结构健康诊断层级图像数据集的各个小集合，以此完成数据集的建立。

4.根据权利要求1所述的方法，其特征在于，在步骤二中，

以对比学习为模型骨架，模型骨架包括学生子网络和教师子网络两部分，两个子网络分别包括数据增强模块、冻结的视觉骨干网络、分割头、L2正则化层四部分；所述教师子网络还包括额外的字典模块；

所述数据增强模块对不同层级图像数据集的数据采取不同的增强方式：对于场景、结构和构件大视野图像采用裁剪、光照变换、裁剪和色彩改变的增强策略，对于损伤类图像采用旋转、光照变换和色彩改变的增强方式；冻结的视觉骨干网络基于DINO网络预训练完成，在学生子网络和教师子网络中采用的参数完全相同；分割头的形式为由1×1卷积核构成的前馈神经网络；

所述教师子网络的字典模块，具体包括：

(1)字典模块为固定的队列大小，大小为K，且K远大于N，其中存储了足够多的负样本特征；

(2)字典模块中的样本特征(k₁,k₂,k₃,k₄,k₅,…,k_k)经由教师子网络缓慢更新的分割头编码后通过L2正则化生成；

(3)字典在每一个训练批次后更新，每次只更新N个样本，当前批次的全部N个样本入队，最早入队批次的全部N个样本出队；

在学生子网络中设计了对比网络模块，具体包括：

(1)由学生子网络中的一对图像经过冻结的视觉骨干网络生成特征张量f和g，然后计算得到f和g的特征相关张量F；

(2)由冻结的视觉骨干网络生成的特征张量f和g在经过分割头后分别生成分割特征s和t，然后计算分割特征s和t的分割相关张量S；

(3)最后由特征相关张量F和分割相关张量S计算得到互相关损失函数；

网络训练的目标函数为由对比网络模块的互相关损失函数和骨干网络模块的对比损失函数构成的综合损失函数，如下式所示：

Loss＝α·L_corr+(1-α)·L_cont (1)

式中，Loss为网络的综合损失函数；α为权重系数，用以在网络的不同训练阶段调整子模块的权重；L_corr为张量F与张量S逐像素相乘后计算得到的互相关损失函数；L_cont为训练批次图像经过学生子网络与教师子网络后的分割特征在经过L2正则化层后逐一计算余弦相似度得到的对比损失函数。

5.根据权利要求4所述的方法，其特征在于，构成知识增强计算机视觉识别网络训练网络综合损失函数的分项损失函数具体包括：

所述互相关损失函数L_corr定义为：

式中，b为超参数；

为经空间中心化操作后的特征相关张量；S_hwij为分割相关张量；

式中，f_chw，g_cij为经过骨干网络后得到的特征张量；F_hwij为从f_chw，g_cij计算得到的特征相关张量；

为F_hwij经空间中心化操作后得到的特征相关张量；

式中，s_chw，t_cij为经过分割头后得到的分割特征张量；S_hwij为从s_chw，t_cij计算得到的分割相关张量；

所述对比损失函数L_cont定义为：

式中，q_i为训练批次的图像经学生子网络后正向得到的特征向量，共N个，为训练批次图像的数量；k_j为字典模块中存储的特征向量，共K个，包括原有字典中存储的特征向量以及该训练批次的图像经教师子网络正向得到的特征向量；其中k₊为k_j中的正例样本；τ为温度参数。

6.根据权利要求1所述的方法，其特征在于，所述步骤三具体为：

步骤三一：训练网络阶段，每次对模型输入一个由结构健康诊断层级图像数据集生成的训练批次，随后经过不同的数据增强模块传入由学生子网络与教师子网络构成的骨干网络，之后通过预训练完成的冻结的视觉骨干网络、分割头以及L2正则化层，计算得到对比损失函数；

步骤三二：除骨干网络外，图像经学生子网络的冻结的视觉骨干网络模块后生成的特征张量计算得到特征相关张量F，经分割头生成的分割特征张量计算得到分割相关张量S；特征相关张量F与分割相关张量S计算得到互相关损失函数；在得到模型的输出后，结合互相关损失函数与对比损失函数加权计算网络得到网络的综合损失函数；

步骤三三：学生子网络和教师子网络的初始权重参数是相同的，学生子网络使用误差反向传播算法更新模型的梯度，使用梯度下降算法根据计算得到的梯度对网络进行梯度下降，更新网络的参数；在教师子网络使用梯度停止阻止梯度传播，教师子网络通过学生子网络的参数采用指数移动平均的方法更新，更新公式如下式：

θ_t←λθ_t+(1-λ)θ_s (6)

式中，λ为动量参数；θ_t为教师子网络的参数；θ_s为学生子网络的参数；

步骤三四：如此循环往复，不断进行模型参数更新直至模型收敛。

7.根据权利要求1所述的方法，其特征在于，所述步骤四具体为：

步骤四一：预测模型阶段，输入图像首先经过与训练网络相同的冻结的视觉骨干网络，然后通过全局平均池化空间特征来提取图像全局特征张量；

步骤四二：之后通过移植的分割头得到初步分割结果，再将分割后的特征经过聚类形成的清晰的簇，并为之分配类别；然后由全连接条件随机场细化分割结果，以进一步提高其空间分辨率；

步骤四三：最后将输出结果经过多类型几何约束损失函数分析计算误差后采用反向传播算法对网络中的权重进行优化；最终经过多次训练迭代得到最优化权重；

步骤四四：去除多类型几何约束损失函数，冻结网络参数，将经过预处理后的待预测图像输入网络经过正向传播过程后从输出模块得到待预测图像的识别结果。

8.根据权利要求7所述的方法，其特征在于，构建知识增强计算机视觉识别网络预测网络的损失函数具体包括：

所述多类型几何约束损失函数GeometryLoss定义为：

GeometryLoss＝α₁·L_texture+α₂·L_hole+α₃·L_area+α₄·L_border (7)

式中，α₁,α₂,α₃,α₄为参与系数；L_texture为纹理相似度损失项损失函数；L_hole为连通域损失项损失函数；L_area为区域相似度损失项损失函数；L_border为边界能量损失项损失函数。

9.根据权利要求8所述的方法，其特征在于，构建多类型几何约束损失函数GeometryLoss损失函数具体包括：

(一)所述纹理相似度损失项损失函数L_texture定义为：

式中，cos_i为任意两个相同损伤区域间的余弦相似度；cos_j为任意损伤区域与背景区域的余弦相似度；

cos_i以及cos_j的具体计算过程如下式：

式中，F₁,F₂为任意损伤区域的特征向量；f_1k，f_2k为特征向量F₁,F₂的第k个特征值；

公式(9)中特征向量F定义为：

F＝[Con,Asm,Ent,H,Corr] (10)

公式(10)中的各项的具体计算方式如下：

式中，P(i,j)为经归一化后的灰度共生矩阵；Con为灰度共生矩阵统计值的对比度项，即特征向量F的第一个特征值f₁；Asm为灰度共生矩阵统计值的能量项，即特征向量F的第二个特征值f₂；Ent为灰度共生矩阵统计值的熵项，即特征向量F的第三个特征值f₃；H为灰度共生矩阵统计值的逆方差项，即特征向量F的第四个特征值f₄；Corr为灰度共生矩阵统计值的相关性项，即特征向量F的第五个特征值f₅；

(二)所述连通域损失项损失函数L_hole定义为：

式中，s_j为模型误识别的孔洞面积；s_i为模型识别的损伤面积；

(三)所述区域相似度损失项损失函数L_area定义为：

式中，

为第i类损伤的第j个区域与第个k区域的Wasserstein距离；

为任意损伤区域与背景区域的Wasserstein距离；

为第i类损伤的第j个区域的概率分布；

为背景区域的概率分布；

(四)所述边界能量损失项损失函数L_border定义为：

式中，L(C)表示识别区域轮廓曲线C的长度；μ为长度系数，取值决定于被检测目标的尺寸；Area(inside(C))为曲线C所围的内部区域的面积；υ为面积参数；I(x,y)为图像内任一像素点的灰度；c_o为曲线C所围的内部区域的平均灰度；c_b为曲线C所围的外部区域的平均灰度。

10.根据权利要求9所述的方法，其特征在于，利用连通域损失项损失函数L_hole损失函数计算前应进行孔洞识别，具体包括：

首先根据识别对象外轮廓特征，将其分为凸集(a)和非凸集(b)；

(1)若外轮廓为凸集则由凸集的定义：

如果过集合C中任意两点的线段都在C内，则称C为凸集，即：

从而判断识别对象的孔洞区域；

(2)若外轮廓为非凸集则先对外轮廓经凸组合运算得到外轮廓凸包，运算过程如下：

对于

0≤λ₁,λ₂,…,λ_m满足λ₁+λ₂+…+λ_m＝1，称

λ₁x₁+λ₂x₂+…+λ_mx_m

为

的一个凸组合，

集合C中点所有可能的凸组合构成的集合称作C的凸包，记作Conv(C)，从而判断识别对象的孔洞区域。

Images