CN117197538B - 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 - Google Patents

Abstract

本发明提出一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法。所述方法包括根据需求建模高斯分布权重采样的贝叶斯卷积神经网络；结构表观损伤图片标准化处理；表观损伤视觉识别及损伤视觉识别结果可靠度的判定等。本发明所述方法利用多结构，多角度的表观损伤图片数据训练贝叶斯卷积神经网络模型，提出模型应用的标准条件。所训练的模型可以完成结构表观损伤视觉识别并给出模型对于识别结果的置信度，从而判断模型结果的可靠性。此外，该方法考虑了图片采集质量不统一，图片存在遮挡与光照等因素引起的不确定性，为评估结构安全提供鲁棒性建议。

Description

一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观 损伤识别方法

技术领域

本发明属于深度学习和土木工程技术领域，特别是涉及一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法。

背景技术

在土木工程建设日渐趋于饱和的当今时代，对已建成土木结构的检测与维护受到越来越广泛的关注。损伤视觉识别在土木工程结构损伤检测中已经有着广泛的应用。借助损伤视觉识别技术，可以有效检测结构是否存在缺陷或损伤、进行缺陷定位并估测损伤程度，以便对已建成结构的安全状况进行评估并及时实施相应的维护措施。然而，建筑结构损伤种类复杂，且实际拍摄损伤图片时易受到光线等自然因素干扰，导致模型输出错误的损伤识别结果，进而引起工程师对结构状态的误判，造成严重损失。因此，如何量化损伤视觉识别结果不确定性，对损伤视觉识别结果进行取舍，是目前亟待开展的研究工作。

由于深度学习网络随着层数加深存在梯度消失，泛化能力下降等问题，通常难以训练参数量较大，层数较深的卷积神经网络，使得图片识别变得非常困难，这严重限制了损伤视觉识别技术在土木工程结构检测中的有效性。基于残差的网络方法能保证识别精度下限，极大地开拓了损伤视觉识别技术在土木工程中的应用前景。近年来，基于残差网络结构的损伤视觉识别方法已经成为了研究热点。但是，由于实际工况的复杂性，图片噪声的随机性，如何判断损伤识别结果的准确性并进行取舍，是一个值得研究的问题。

贝叶斯概率论方法作为处理不确定性的重要手段，充分利用数据信息和先验概率信息，对未知参数推断其后验概率分布，从而量化损伤识别结果的不确定性，即损伤识别推断结果的置信度(可靠程度)。本发明中，将卷积神经网络中的权重由点估计替换为高斯概率分布，通过高斯分布的均值与方差赋予网络权重先验信息。利用训练数据更新先验概率分布得到后验概率分布，完成损伤视觉识别。同时，通过多次对后验概率分布采样得到模型对损伤视觉识别结果的不确定性指标，从而得到损伤视觉识别结果的置信度(可靠程度)。根据置信度大小对损伤视觉识别结果进行取舍。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法。所述方法适用于根据已有损伤图片预测得到的损伤视觉识别结果是否可靠。

本发明是通过以下技术方案实现的，本发明提出一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法，所述方法包括以下步骤：

步骤一、根据实际需求复杂度建模贝叶斯卷积神经网络，对输入网络模型的图片进行预处理，训练贝叶斯卷积神经网络模型，完成图片损伤种类的视觉识别及模型对识别结果置信度的输出；

步骤二、将验证集图片输入到模型中，得到其损伤视觉识别结果以及网络对该结果的置信度；根据置信度大小判断网络对哪类损伤特征学习不充分，增加该类损伤数据，对网络进一步训练完善；当模型可以正确识别所有图片并给出高置信度的识别结果时，认为模型可以应用于评估结构表观损伤；

步骤三、将监测状态下的结构表观损伤图片输入到训练好的贝叶斯卷积神经网络模型中，获得图片损伤种类以及模型对图片识别结果的置信度；根据置信度选择接受或拒绝模型识别结果，如果拒绝模型识别结果，转到人工判断得到最终损伤识别结果；最后根据损伤识别结果评估结构的安全与可靠性。

进一步地，在步骤一中，所述建模贝叶斯卷积神经网络：

p(W)～Ν(μ,Σ)

W_j～Ν(μ_j,Σ_j)

其中，W_j为网络全连接层第j层的权重参数，μ_j为网络全连接层第j层的均值向量，大小n×1，Σ_j为网络全连接层第j层的协方差矩阵，大小n×n，且为实对称矩阵，n为权重个数。

进一步地，在步骤一中，对输入图片数据进行标准化：

其中，x为某个特征的原始值，μ为该特征在所有样本中的平均值，σ为该特征在所有样本中的标准差，x^*为标准化后特征值，x^*～Ν(0,1)。

进一步地，在步骤一中，根据先验分布确定网络权重：

ε～N(0,I)

σ_ij＝log(1+exp(ρ_ij))

w_ij＝μ_ij+σ_ij·ε

其中，w_ij代表第j层第i个权重参数，首先进行标准高斯分布采样，对采样结果进行变换得到网络权重，在变换的过程中赋予权重先验信息；ρ_ij表示权重对应的方差，是第j层协方差矩阵对角线上的第i个元素。

进一步地，在步骤一中，根据交叉熵损失函数反向传播更新先验参数μ，Σ，得到后验分布，完成贝叶斯卷积神经网络训练：

p(W|D)～N(μ,Σ)

其中，L为交叉熵损失函数，S为softmax层输出分类评分，Z为全连接层输出分类评分，μ为高斯分布均值，Σ为协方差矩阵。

进一步地，在步骤二中，将验证集图片输入到模型中，根据识别结果置信度改善模型：

y_i＝y_k||C(y_i)＞k

其中y_i为预测标签，y_k为真实标签，C(y_i)为模型对于预测结果置信度，k为人工设定的阈值；当所有测试图片均能正确识别且模型对识别结果置信度高于设定的阈值时，认为模型训练完成。

进一步地，在步骤三中，将监测状态下结构表观损伤图片输入到模型中，完成视觉识别：

P(Y|X)＝∫P(Y|X,W)P(W|D)dW＝E_P(W|D)[P(Y|X,W)]

将预测结果的期望E_P(W|D)[P(Y|X,W)]作为图片最终识别结果，从权重后验分布中多次采样，计算预测结果信息熵，得到模型对预测结果的置信度：

W_i～p(W|D)

C＝H({P(Y|X,W_i)})i＝1,...,n

其中，n为自定义采样次数，采样次数越多得到的置信度结果越准确。

进一步地，在步骤三中，根据置信度大小对损伤识别结果进行取舍,若C＞k，说明模型对于识别结果有把握，此时接受损伤识别结果，反之当C＜k时，拒绝损伤识别结果，转人工判断损伤。

本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法的步骤。

本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法的步骤。

本发明的有益效果：

1.本发明提出了一种基于残差网络结构的贝叶斯卷积神经网络模型，其能提供损伤识别结果的置信度。

2.本发明提供了一种对损伤视觉识别结果是否可靠的诊断方法，克服了传统方法不知道损伤视觉识别结果是否正确的难题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所述的一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法的流程图。

图2为本发明所涉及的网络结构示意图。

图3为本发明实施例中损伤视觉识别示意图。

图4为本发明实施例中随着训练数据增加不确定性指标的变化趋势示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是为了判定根据已有损伤图片预测得到的损伤视觉识别结果是否可靠，而提出的一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤视觉识别方法。首先，根据需求复杂度建模贝叶斯卷积神经网络。其次，对输入图片进行标准化等预处理，并利用图片训练网络。然后，抽取验证集图片测试网络性能并加以改善。最终，完成损伤视觉识别并输出识别结果置信度。根据置信度大小判断损伤识别结果是否可靠，从而进行取舍。

结合图1-图4，本发明提出一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法，所述方法包括以下步骤：

步骤一、根据实际需求复杂度建模贝叶斯卷积神经网络，对输入网络模型的图片进行预处理，训练贝叶斯卷积神经网络模型，完成图片损伤种类的视觉识别及模型对识别结果置信度的输出；

步骤二、将验证集图片输入到模型中，得到其损伤视觉识别结果以及网络对该结果的置信度；根据置信度大小判断网络对哪类损伤特征学习不充分，增加该类损伤数据，对网络进一步训练完善；当模型可以正确识别所有图片并给出高置信度的识别结果时，认为模型可以应用于评估结构表观损伤；

步骤三、将监测状态下的结构表观损伤图片输入到训练好的贝叶斯卷积神经网络模型中，获得图片损伤种类以及模型对图片识别结果的置信度；根据置信度选择接受或拒绝模型识别结果，如果拒绝模型识别结果，转到人工判断得到最终损伤识别结果；最后根据损伤识别结果评估结构的安全与可靠性。

在步骤一中，所述建模贝叶斯卷积神经网络：

p(W)～Ν(μ,Σ)

W_j～Ν(μ_j,Σ_j)

其中，W_j为网络全连接层第j层的权重参数，μ_j为网络全连接层第j层的均值向量，大小n×1，Σ_j为网络全连接层第j层的协方差矩阵，大小n×n，且为实对称矩阵，n为权重个数。

在步骤一中，对输入图片数据进行标准化：

其中，x为某个特征的原始值，μ为该特征在所有样本中的平均值，σ为该特征在所有样本中的标准差，x^*为标准化后特征值，x^*～Ν(0,1)。

在步骤一中，根据先验分布确定网络权重：

ε～N(0,I)

σ_ij＝log(1+exp(ρ_ij))

w_ij＝μ_ij+σ_ij·ε

其中，w_ij代表第j层第i个权重参数，首先进行标准高斯分布采样，对采样结果进行变换得到网络权重，在变换的过程中赋予权重先验信息；ρ_ij表示权重对应的方差，是第j层协方差矩阵对角线上的第i个元素。

在步骤一中，根据交叉熵损失函数反向传播更新先验参数μ，Σ，得到后验分布，完成贝叶斯卷积神经网络训练：

p(W|D)～N(μ,Σ)

其中，L为交叉熵损失函数，S为softmax层输出分类评分，Z为全连接层输出分类评分，μ为高斯分布均值，Σ为协方差矩阵。

在步骤二中，将验证集图片输入到模型中，根据识别结果置信度改善模型：

y_i＝y_k||C(y_i)＞k

其中y_i为预测标签，y_k为真实标签，C(y_i)为模型对于预测结果置信度，k为人工设定的阈值；当所有测试图片均能正确识别且模型对识别结果置信度高于设定的阈值时，认为模型训练完成。

在步骤三中，将监测状态下结构表观损伤图片输入到模型中，完成视觉识别：

P(Y|X)＝∫P(Y|X,W)P(W|D)dW＝E_P(W|D)[P(Y|X,W)]

将预测结果的期望E_P(W|D)[P(Y|X,W)]作为图片最终识别结果，从权重后验分布中多次采样，计算预测结果信息熵，得到模型对预测结果的置信度：

W_i～p(W|D)

C＝H({P(Y|X,W_i)})i＝1,...,n

其中，n为自定义采样次数，采样次数越多得到的置信度结果越准确。

在步骤三中，根据置信度大小对损伤识别结果进行取舍,若C＞k，说明模型对于识别结果有把握，此时接受损伤识别结果，反之当C＜k时，拒绝损伤识别结果，转人工判断损伤。

实施例

本实施方式使将本发明应用于热轧钢与铝型材表面瑕疵检测，图1给出了本发明所述一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法的流程图，图2给出了本发明所使用的网络结构示意图。图3给出了热轧钢表面瑕疵识别结果。图4为本发明实施例中随着训练数据增加不确定性指标的变化趋势示意图。

所述步骤一具体为：本实施例中，使用东北大学的开源数据集NEUCLS与天池铝型材表面瑕疵数据集训练网络。NEUCLS数据集包括六种常见的热轧钢板损伤及损伤发生位置。天池铝型材数据集包括三种常见的铝型材瑕疵种类。使用残差网络特征提取层，将全连接层建模为贝叶斯神经网络，赋予先验信息μ，Σ。将图片进行标准化与尺寸重构处理，并进行图像增强。然后，利用图片训练网络。

所述步骤二具体为：随机抽取验证集图片输入到网络中，观察网络输出结果与实际标签是否相符，统计输出结果的置信度。当网络对于每类损伤都能输出正确结果且置信度C＞80％，认为网络训练合格，可以应用。

所述步骤三具体为：将待判断损伤的热轧钢板图像输入到训练好的网络中，通过结果信息熵大小估计网络输出结果置信度C。如果C＞80％，采用网络结果，反正则舍弃网络结果，转人工判断损伤类型。

本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法的步骤。

本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法的步骤。

本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM，DRRAM)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disc，SSD))等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

以上对本发明所提出的一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法，其特征在于，所述方法包括以下步骤：

步骤一、根据实际需求复杂度建模贝叶斯卷积神经网络，对输入网络模型的图片进行预处理，训练贝叶斯卷积神经网络模型，完成图片损伤种类的视觉识别及模型对识别结果置信度的输出；

步骤二、将验证集图片输入到模型中，得到其损伤视觉识别结果以及网络对该结果的置信度；根据置信度大小判断网络对哪类损伤特征学习不充分，增加该类损伤数据，对网络进一步训练完善；当模型可以正确识别所有图片并给出高置信度的识别结果时，认为模型可以应用于评估结构表观损伤；

步骤三、将监测状态下的结构表观损伤图片输入到训练好的贝叶斯卷积神经网络模型中，获得图片损伤种类以及模型对图片识别结果的置信度；根据置信度选择接受或拒绝模型识别结果，如果拒绝模型识别结果，转到人工判断得到最终损伤识别结果；最后根据损伤识别结果评估结构的安全与可靠性；

在步骤一中，所述建模贝叶斯卷积神经网络：

p(W)～Ν(μ,Σ)

W_j～Ν(μ_j,Σ_j)

其中，W_j为网络全连接层第j层的权重参数，μ_j为网络全连接层第j层的均值向量，大小n×1，Σ_j为网络全连接层第j层的协方差矩阵，大小n×n，且为实对称矩阵，n为权重个数；

在步骤一中，对输入图片数据进行标准化：

其中，x为某个特征的原始值，μ为该特征在所有样本中的平均值，σ为该特征在所有样本中的标准差，x^*为标准化后特征值，x^*～Ν(0,1)；

在步骤一中，根据先验分布确定网络权重：

ε～N(0,I)

σ_ij＝log(1+exp(ρ_ij))

w_ij＝μ_ij+σ_ij·ε

其中，w_ij代表第j层第i个权重参数，首先进行标准高斯分布采样，对采样结果进行变换得到网络权重，在变换的过程中赋予权重先验信息；ρ_ij表示权重对应的方差，是第j层协方差矩阵对角线上的第i个元素；

在步骤一中，根据交叉熵损失函数反向传播更新先验参数μ，Σ，得到后验分布，完成贝叶斯卷积神经网络训练：

p(W|D)～N(μ,Σ)

其中，L为交叉熵损失函数，S为softmax层输出分类评分，Z为全连接层输出分类评分，μ为高斯分布均值，Σ为协方差矩阵。

2.根据权利要求1所述的方法，其特征在于，在步骤二中，将验证集图片输入到模型中，根据识别结果置信度改善模型：

y_i＝y_k||C(y_i)＞k

其中y_i为预测标签，y_k为真实标签，C(y_i)为模型对于预测结果置信度，k为人工设定的阈值；当所有测试图片均能正确识别且模型对识别结果置信度高于设定的阈值时，认为模型训练完成。

3.根据权利要求1所述的方法，其特征在于，在步骤三中，将监测状态下结构表观损伤图片输入到模型中，完成视觉识别：

P(Y|X)＝∫P(Y|X,W)P(W|D)dW＝E_P(W|D)[P(Y|X,W)]

将预测结果的期望E_P(W|D)[P(Y|X,W)]作为图片最终识别结果，从权重后验分布中多次采样，计算预测结果信息熵，得到模型对预测结果的置信度：

W_i～p(W|D)

C＝H({P(Y|X,W_i)}) i＝1,...,n

其中，n为自定义采样次数，采样次数越多得到的置信度结果越准确。

4.根据权利要求3所述的方法，其特征在于，在步骤三中，根据置信度大小对损伤识别结果进行取舍,若C＞k，说明模型对于识别结果有把握，此时接受损伤识别结果，反之当C＜k时，拒绝损伤识别结果，转人工判断损伤。

5.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法的步骤。

6.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。