CN114972040A - 一种单板层积材的散斑图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种单板层积材的散斑图像超分辨率重建方法，包括：在单板层积材试件表面依次喷涂白色底漆和黑色散斑，使得单板层积材试件表面形成黑白散斑；连续采集多张单板层积材试件受外部作用力产生扩展尖端裂纹的原始高清散斑图像；对多张原始高清散斑图像进行处理，得到多张原始高分辨率图像块和低分辨率图像块；构建残差网络模型，利用训练集对残差网络模型进行训练，得到训练好的残差网络模型；本发明克服了单板层积材在超分辨率图像重建中的细节信息丢失和边缘模糊；加入特征图动态加权模块提高了单板层积材超分辨率图像重建的真实性；采用了一种新的残差网络模型，提高了网络性能；重建后的单板层积材超分辨率图像精度高，真实性高。

Description

一种单板层积材的散斑图像超分辨率重建方法

技术领域

本发明涉及数字图像相关(Digital Iamge Correlation，DIC)技术，具体是一种单板层积材的散斑图像超分辨率重建方法。

背景技术

单板层积材(Laminated Veneer Lumber,LVL)是一种木材厚单板经顺纹方向层积组坯、热压胶合、锯切制作而成的板材，有着易于加工、经济效益高以及力学性能较好等诸多优点，是理想的建筑材料和机电包装工程材料。然而，由于单板层积材天生的多孔结构及其制作工艺会导致出现层间开裂的情况，初始裂纹扩大而引起的断裂破坏是单板层积材构件的主要破坏模式，裂纹扩展会导致单板层积材在低于材料屈服极限时就发生破坏，从而影响结构的承载力和寿命，同时还会引起应力软化和刚度退化。

材料对于这种裂纹扩展的容忍度，需要通过临界断裂应变能释放率才能做出评估，准确得到临界断裂应变能释放率就必须得到断裂应变能与裂纹扩展长度的关系曲线，准确地识别尖端裂纹位置和裂纹扩展长度一直是复合材料断裂问题的研究难点之一。

采用数字图像相关技术对单板层积材断裂实验中尖端裂纹进行检测，可精确测算出裂纹扩展的长度，为断裂应变能的可靠性计算提供有效的支撑。目前软件方面在面向数字图像相关技术的单板层积材散斑图像重建上仍采用传统的插值方法，性能较为落后，存在精度低、真实性差的缺点。因此，需要提供一种新的单板层积材的散斑图像超分辨率重建方法，使得重建后的单板层积材的图像分辨率高，可以更准确地识别出尖端裂纹位置和裂纹扩展长度。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种单板层积材的散斑图像超分辨率重建方法，本单板层积材的散斑图像超分辨率重建方法克服了其在超分辨率图像重建中的细节信息丢失和边缘模糊；加入特征图动态加权模块提高了单板层积材超分辨率图像重建的真实性；采用了一种新的残差网络模型，提高了网络性能；重建后的单板层积材超分辨率图像精度高，真实性高。

为实现上述技术目的，本发明采取的技术方案为：

一种单板层积材的散斑图像超分辨率重建方法，包括：

步骤1：在单板层积材试件表面依次喷涂白色底漆和黑色散斑，使得单板层积材试件表面形成黑白散斑；

步骤2：采用高速摄像机连续采集多张单板层积材试件受外部作用力产生扩展尖端裂纹的原始高清散斑图像；

步骤3：对单板层积材的多张原始高清散斑图像进行预处理，得到多张原始高分辨率图像，将多张原始高分辨率图像进行处理，得到每张原始高分辨率图像相对应的低分辨率图像，分别对原始高分辨率图像和低分辨率图像进行裁剪，得到多张原始高分辨率图像块和低分辨率图像块；

步骤4：将多张原始高分辨率图像块和与之对应的低分辨率图像块进行组合，制作多组数据集，每组数据集中包含一张原始高分辨率图像块和与之对应的低分辨率图像块，将多组数据集分成训练集、测试集和验证集；

步骤5：构建残差网络模型，利用训练集对残差网络模型进行训练，得到训练好的残差网络模型，即单板层积材散斑图像超分辨率重建模型；

步骤6：将待检测的单板层积材受外部作用力产生扩展尖端裂纹的低分辨率图像输入到单板层积材散斑图像超分辨率重建模型中，生成超分辨率图像。

步骤7：将步骤6生成的多张超分辨率图像用于DIC系统中做数字散斑测量，分析超分辨率图像中的尖端裂纹位置，并获取裂纹长度数据，分析木材的弯曲程度和应变情况。

作为本发明进一步改进的技术方案，所述的步骤2包括：

将单板层积材试件安装在万能力学试验机上，使用万能力学试验机加载单板层积材试件且采用高速摄像机拍摄单板层积材试件，直到单板层积材试件出现扩展尖端裂纹或施加的载荷出现急降时停止加载，获得多张原始高清散斑图像。

作为本发明进一步改进的技术方案，所述的步骤3包括：

3.1、去除采集的单板层积材试件的原始高清散斑图像里的黑色区域，预处理得到原始高分辨率图像；

3.2、将原始高分辨率图像进行双三次插值降采样处理得到低分辨率图像，原始高分辨率图像缩放至低分辨率图像的比例系数为r；

3.3、分别裁切每张原始高分辨率图像和低分辨率图像，获得多张尺寸为r*P×r*P的原始高分辨率图像块以及多张尺寸为P×P的低分辨率图像块。

作为本发明进一步改进的技术方案，所述的步骤5中的残差网络模型按照顺序包含1个卷积层、n个密集残差块、1个卷积层、1个上采样层和1个卷积层；

其中n个密集残差块两两之间进行短接，实现局部残差；

将残差网络模型中第1个卷积层的输出结果和倒数第2个卷积层的输出结果进行相加，实现全局残差；

每个密集残差块均包含4个级联的二级块和1个卷积层；

每个二级块由1个卷积层、1个激活层和1个特征图动态加权模块组成，数据在二级块中的传递路径依次为卷积层、激活层和特征图动态加权模块，其中特征图动态加权模块在传递路径中处于短接状态；

残差网络模型中不包含批规范化(Batch Normalization，BN)层。

作为本发明进一步改进的技术方案，所述的步骤5中的残差网络模型的计算过程为：

输入低分辨率图像块到残差网络模型中；

低分辨率图像块依次经过残差网络模型中的卷积层、n个密集残差块、卷积层、上采样层和卷积层后，输出单板层积材试件的超分辨率图像块，通过损失函数更新模型，迭代T₁次，得到训练完成的残差网络模型，即单板层积材散斑图像超分辨率重建模型。

作为本发明进一步改进的技术方案，所述的残差网络模型的损失函数为：

其中

表示原始高分辨率图像块中(x,y)点对应的像素值大小，

表示经过超分辨率重建之后的超分辨率图像块中(x,y)点对应的像素值大小；W表示低分辨率图像块的宽度；H表示低分辨率图像块的高度；r表示原始高分辨率图像缩放至低分辨率图像的比例系数。

作为本发明进一步改进的技术方案，所述的特征图动态加权模块的计算过程为：

对特征图动态加权模块的输入数据分别进行最大池化和平均池化的操作；

使用卷积层对最大池化后的特征进行深度提取，并将深度提取的数据依次经过ReLU激活层、卷积层和Sigmoid激活层；使用卷积层对平均池化后的特征进行深度提取，并将深度提取的数据依次经过ReLU激活层、卷积层和Sigmoid激活层；所述特征图动态加权模块的计算过程为：

其中，C为输入的特征通道数；

为经卷积层、激活层和平均池化层输出后的特征张量；

为经卷积层、激活层和最大池化层输出后的特征张量；W₀是特征图动态加权模块中第1个卷积层上的权值，W₁是特征图动态加权模块中第2个卷积层上的权值；σ为Sigmoid激活函数。

本发明的有益效果为：

(1)基于现有的残差网络模型移除所有BN层，能够防止BN层抑制单板层积材原散斑图像的色彩、对比度、亮度等细节信息，并且提高了网络的训练速度，减少内存占用和模型训练时间，提高网络的稳定性和泛化能力。

(2)选用L₁损失函数代替常用的L₂损失函数，L₁损失函数有更强的收敛性和鲁棒性，提高了单板层积材散斑图像的超分辨率重建性能。

(3)将新的特征图动态加权模型结构引入残差网络，比现有的模型结构更加关注散斑图像中的重点区域，使得模型能够针对单板层积材重建出细节更为丰富、边缘更为锐利的散斑图像。

(4)结合改进残差网络模型和密集连接，将全局和局部残差学习引入超分辨率算法，设计密集残差块实现单板层积材散斑图像中不同层次信息的融合，有效加深网络深度、提高网络性能。

(5)与传统的插值方法相比，针对单板层积材改进的特征图动态加权密集残差网络方法在评价指标峰值信噪比、结构相似性和平均意见得分上都有显著提高，单板层积材散斑图像重建上的效果优于传统插值方法，特征图动态加权模块和密集残差结构大大提升了散斑图像超分辨率重建性能。

附图说明

图1为本发明特征图动态加权模型结构。

图2为本发明密集残差块设计图。

图3为本发明残差网络模型结构示意图。

图4为本发明基于残差网络模型的图像生成算法流程图。

图5为本发明单板层积材散斑图像重建效果的对比图。

具体实施方式

下面根据附图对本发明的具体实施方式作进一步说明：

一种单板层积材的散斑图像超分辨率重建方法，包括：

步骤1：在单板层积材试件表面依次喷涂白色底漆和黑色散斑，使得单板层积材试件表面形成黑白散斑，进而制作散斑图。

步骤2：采用高速摄像机连续采集多张单板层积材试件受外部作用力产生扩展尖端裂纹的原始高清散斑图像。

所述步骤2具体为：

2.1、对单板层积材试件进行定位与画线。在距离单板层积材试件左右两端Xmm处以及单板层积材试件的几何中心处画垂直于裂纹方向的三条竖线，以便于试件安装。在距离预制初始裂纹始端Ymm处画一条竖线，并在距离试件上端Zmm处画一条横线，以便于后续数据分析。

2.2、在万能力学试验机上安装试件。安装试件使两支座中心线与左右定位线重合，加载滚轴与中心定位线重合。

2.3、安装高速摄像机，将高速摄像机放置在单板层积材试件的正前方，并保证高速摄像机拍摄角度与单板层积材试件散斑表面垂直，高速摄像机的光轴与单板层积材试件表面平齐。在高速摄像系统控制页面设置相关参数，将万能力学试验机的加载方式设置为恒定加载。

2.4、使用万能力学试验机加载单板层积材试件，单板层积材试件受三点作用力会产生弯曲，并采用高速摄像机拍摄单板层积材试件散斑图像，直到单板层积材试件产生扩展尖端裂纹或施加的载荷出现急降时停止加载，获得多张单板层积材试件的原始高清散斑图像。

步骤3：对单板层积材的多张原始高清散斑图像进行预处理，得到多张原始高分辨率图像，将多张原始高分辨率图像进行处理，得到每张原始高分辨率图像相对应的低分辨率图像，分别对原始高分辨率图像和低分辨率图像进行裁剪，得到多张原始高分辨率图像块和低分辨率图像块。

所述步骤3具体为：

3.1、去除采集的单板层积材试件的原始高清散斑图像里的黑色区域，预处理得到原始高分辨率图像；

3.2、将原始高分辨率图像进行双三次插值降采样处理得到低分辨率图像，原始高分辨率图像缩放至低分辨率图像的比例系数为r；

3.3、分别裁切每张原始高分辨率图像和低分辨率图像，获得多张尺寸为r*P×r*P的原始高分辨率图像块以及多张尺寸为P×P的低分辨率图像块。

步骤4：将多张原始高分辨率图像块和与之对应的低分辨率图像块进行组合，制作多组数据集，每组数据集中包含一张原始高分辨率图像块和与之对应的低分辨率图像块，按8:1:1的比例分配将多组数据集分成训练集、测试集和验证集。

步骤5：构建残差网络模型，利用训练集对残差网络模型进行训练，得到训练好的残差网络模型，即单板层积材散斑图像超分辨率重建模型。

如图3所示，所述的步骤5中的残差网络模型按照顺序包含1个卷积层、n个密集残差块、1个卷积层、1个上采样层和1个卷积层。其中n个密集残差块两两之间进行短接，实现局部残差。将残差网络模型中第1个卷积层的输出结果和倒数第2个卷积层的输出结果进行相加，实现全局残差。如图2所示，每个密集残差块均包含4个级联的二级块和1个卷积层。每个二级块由1个卷积层、1个激活层和1个特征图动态加权模块组成，数据在二级块中的传递路径依次为卷积层、激活层和特征图动态加权模块，其中特征图动态加权模块在传递路径中处于短接状态。残差网络模型中不包含BN层。

如图4所示，所述的步骤5中残差网络模型的计算过程为：

5.1、输入低分辨率图像块到残差网络模型中；

5.2、残差网络模型的输入层由卷积层组成。每张低分辨率图像块(即低分辨率散斑图)可以采用W×H×3的实值张量表示，卷积的输出通道数为C，卷积操作后图像块可以描述为W×H×C的矩阵，卷积操作将输入图片R、G、B三个通道的信息映射到C个卷积核分量上，将输入图片的浅层特征信息初步加深；

5.3、输入到多层特征图动态加权密集层，该层由n个密集残差块和1个卷积层组成。每个密集残差块包含4个级联的二级块和1个卷积层，其中每个二级块包括卷积层、激活层和1个特征图动态加权模块。通过该层提取到图片更深层次的特征信息，并且对于各通道加以权重计算，使得模型更多地关注重要和关键的特征信息；具体步骤为：

5.3.1、基于现有的残差网络模型去除所有BN层；

5.3.2、选用L₁损失函数代替常用的L₂损失函数，其中损失函数具体包括：

选用L₁损失函数，其表达式如下式所示：

其中

表示原始高分辨率图像块中(x,y)点对应的像素值大小，

表示经过超分辨率重建之后的超分辨率图像块中(x,y)点对应的像素值大小；W表示低分辨率图像块的宽度；H表示低分辨率图像块的高度；r表示原始高分辨率图像缩放至低分辨率图像的比例系数。

L₁损失函数收敛性能更强，可以更好地完成散斑图像超分辨率重建任务，选用L₁损失函数指导模型训练。

5.3.3、如图1所示，加入特征图动态加权模型，使用1个卷积层、1个激活层和1个特征图动态加权模块组成1个二级块。特征图动态加权模块的计算过程为：

(1)、为了使模型能够关注输入的单板层积材图像中有意义的信息(通道、空间信息)，提高图像还原度，选用特征图动态加权模型的框架结构，结合通道动态加权和空间信息动态加权构建新的特征图动态加权模型；

(2)、首先对特征图动态加权模块的输入数据分别进行最大池化和平均池化的操作；

(3)、然后使用两个卷积层分别对最大池化和平均池化后的特征进行深度提取，并用ReLU激活层输出保留的特征；

(4)、再通过ReLU激活层和卷积层，将通道恢复到初始通道的数量，降低模型的计算成本；

(5)、最后加入卷积层和Sigmoid激活层，将每个通道的比例系数限制在0到1之间，以减小各通道权重计算的分散程度，让模型更加关注图像中的重点区域，学会增强细节信息，特征图动态加权模块的计算过程为：

其中，C为输入的特征通道数；

为经卷积层、激活层和平均池化层输出后的特征张量；

为经卷积层、激活层和最大池化层输出后的特征张量；W₀是特征图动态加权模块中第1个卷积层上的权值，W₁是特征图动态加权模块中第2个卷积层上的权值；σ为Sigmoid激活函数。

5.4、经上采样层将特征图进行放大并将放大后的特征图输出；

5.5、经输出层把特征图的维度降至3并输出，该层由卷积层组成；

5.6、输出获得单板层积材试件的超分辨率图像块；

5.7、通过损失函数L₁更新模型，迭代T₁次，得到训练完成的残差网络模型，即单板层积材散斑图像超分辨率重建模型。

步骤6：待检测的单板层积材受万能力学试验机的三点作用力后会产生弯曲，对弯曲后的单板层积材进行连续拍摄采集低分辨率散斑图像，直到待检测的单板层积材产生扩展尖端裂纹或施加的载荷出现急降时停止加载和拍摄，并将连续拍摄的多张低分辨率散斑图像(即待重建的低分辨率图像)输入到训练好的单板层积材散斑图像超分辨率重建模型中进行超分辨率重建，生成超分辨率图像；

步骤7：将步骤6生成的多张超分辨率图像用于DIC系统中做数字散斑测量，分析超分辨率图像中的尖端裂纹位置，并获取裂纹长度数据，分析木材的弯曲程度和应变情况。

如图5所示，在对单板层积材的散斑图像超分辨率重建任务中，左侧列为高速摄像机拍摄的单板层积材散斑图像的低分辨率图像，右侧列为采用本发明改进残差网络方法重建出散斑图像的超分辨率图像，重建的图像效果有了明显提升，裂纹位置更加清晰，边缘明显更加锐利。

本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。

Claims (7)

1.一种单板层积材的散斑图像超分辨率重建方法，其特征在于：包括：

步骤1：在单板层积材试件表面依次喷涂白色底漆和黑色散斑，使得单板层积材试件表面形成黑白散斑；

步骤2：采用高速摄像机连续采集多张单板层积材试件受外部作用力产生扩展尖端裂纹的原始高清散斑图像；

步骤3：对单板层积材的多张原始高清散斑图像进行处理，得到多张原始高分辨率图像，将多张原始高分辨率图像进行处理，得到每张原始高分辨率图像相对应的低分辨率图像，分别对原始高分辨率图像和低分辨率图像进行裁剪，得到多张原始高分辨率图像块和低分辨率图像块；

步骤4：将多张原始高分辨率图像块和与之对应的低分辨率图像块进行组合，制作多组数据集，每组数据集中包含一张原始高分辨率图像块和与之对应的低分辨率图像块，将多组数据集分成训练集、测试集和验证集；

步骤5：构建残差网络模型，利用训练集对残差网络模型进行训练，得到训练好的残差网络模型，即单板层积材散斑图像超分辨率重建模型；

步骤6：将待检测的单板层积材受外部作用力产生扩展尖端裂纹的低分辨率图像输入到单板层积材散斑图像超分辨率重建模型中，生成超分辨率图像。

步骤7：将步骤6生成的多张超分辨率图像用于DIC系统中做数字散斑测量。

2.根据权利要求1所述的单板层积材的散斑图像超分辨率重建方法，其特征在于：所述的步骤2包括：

将单板层积材试件安装在万能力学试验机上，使用万能力学试验机加载单板层积材试件且采用高速摄像机拍摄单板层积材试件，直到单板层积材试件产生扩展尖端裂纹或施加的载荷出现急降时停止加载，获得多张原始高清散斑图像。

3.根据权利要求2所述的单板层积材的散斑图像超分辨率重建方法，其特征在于：所述的步骤3包括：

3.1、去除采集的单板层积材试件的原始高清散斑图像里的黑色区域，得到原始高分辨率图像；

3.2、将原始高分辨率图像进行双三次插值降采样处理得到低分辨率图像，原始高分辨率图像缩放至低分辨率图像的比例系数为r；

3.3、分别裁切每张原始高分辨率图像和低分辨率图像，获得多张尺寸为r*P×r*P的原始高分辨率图像块以及多张尺寸为P×P的低分辨率图像块。

4.根据权利要求1所述的单板层积材的散斑图像超分辨率重建方法，其特征在于：所述的步骤5中的残差网络模型按照顺序包含1个卷积层、n个密集残差块、1个卷积层、1个上采样层和1个卷积层；

其中n个密集残差块两两之间进行短接，实现局部残差；

将残差网络模型中第1个卷积层的输出结果和倒数第2个卷积层的输出结果进行相加，实现全局残差；

每个密集残差块均包含4个级联的二级块和1个卷积层；

每个二级块由1个卷积层、1个激活层和1个特征图动态加权模块组成，数据在二级块中的传递路径依次为卷积层、激活层和特征图动态加权模块，其中特征图动态加权模块在传递路径中处于短接状态；

残差网络模型中不包含BN层。

5.根据权利要求4所述的单板层积材的散斑图像超分辨率重建方法，其特征在于：所述的步骤5中的残差网络模型的计算过程为：

输入低分辨率图像块到残差网络模型中；

低分辨率图像块依次经过残差网络模型中的卷积层、n个密集残差块、卷积层、上采样层和卷积层后，输出单板层积材试件的超分辨率图像块，通过损失函数更新模型，迭代T₁次，得到训练完成的残差网络模型，即单板层积材散斑图像超分辨率重建模型。

6.根据权利要求5所述的单板层积材的散斑图像超分辨率重建方法，其特征在于：所述的残差网络模型的损失函数为：

其中

表示原始高分辨率图像块中(x,y)点对应的像素值大小，

表示经过超分辨率重建之后的超分辨率图像块中(x,y)点对应的像素值大小；W表示低分辨率图像块的宽度；H表示低分辨率图像块的高度；r表示原始高分辨率图像缩放至低分辨率图像的比例系数。

7.根据权利要求6所述的单板层积材的散斑图像超分辨率重建方法，其特征在于：所述的特征图动态加权模块的计算过程为：

对特征图动态加权模块的输入数据分别进行最大池化和平均池化的操作；

使用卷积层对最大池化后的特征进行深度提取，并将深度提取的数据依次经过ReLU激活层、卷积层和Sigmoid激活层；使用卷积层对平均池化后的特征进行深度提取，并将深度提取的数据依次经过ReLU激活层、卷积层和Sigmoid激活层；所述特征图动态加权模块的计算过程为：

其中，C为输入的特征通道数；

为经卷积层、激活层和平均池化层输出后的特征张量；

为经卷积层、激活层和最大池化层输出后的特征张量；W₀是特征图动态加权模块中第1个卷积层上的权值，W₁是特征图动态加权模块中第2个卷积层上的权值；σ为Sigmoid激活函数。

Images