CN114972332B - 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 - Google Patents
一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 Download PDFInfo
- Publication number
- CN114972332B CN114972332B CN202210833979.5A CN202210833979A CN114972332B CN 114972332 B CN114972332 B CN 114972332B CN 202210833979 A CN202210833979 A CN 202210833979A CN 114972332 B CN114972332 B CN 114972332B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- generator
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000017166 Bambusa arundinacea Nutrition 0.000 title claims abstract description 54
- 235000017491 Bambusa tulda Nutrition 0.000 title claims abstract description 54
- 241001330002 Bambuseae Species 0.000 title claims abstract description 54
- 235000015334 Phyllostachys viridis Nutrition 0.000 title claims abstract description 54
- 239000011425 bamboo Substances 0.000 title claims abstract description 54
- 239000002023 wood Substances 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 16
- 239000003973 paint Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005507 spraying Methods 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像超分辨率重建网络的竹集成材裂纹检测方法，包括：连续采集竹集成材受三点加载作用力产生扩展尖端裂纹的原始高清图像，去黑边裁剪得到与原始高清图像相对应的原始高分辨率图像；对原始高分辨率图像进行处理，得到低分辨率图像；将改进残差网络模型作为生成器，将生成器和判别器组合得到生成对抗网络模型；训练生成对抗网络模型；本发明克服了超分辨率图像重建中的细节信息丢失和边缘模糊；提高了竹集成材超分辨率图像重建的真实性；提高了网络性能；重建后的图像精度高，真实性高；利用从生成器生成出的超分辨率图像中提取出的信息对生成器模型进行二次检验，该检验方法从客观角度评价了生成器的性能。
Description
技术领域
本发明涉及图像超分辨重建方法和竹集成材力学性能检测方法，具体是一种基于图像超分辨率重建网络的竹集成材裂纹检测方法。
背景技术
竹集成材作为理想的建筑材料和机电产品包装材料，具有良好的力学性能。展平竹集成材是由宽幅面展平竹单元压制而成，由于竹材天生多孔以及展平竹集成材的胶合工艺，在工程应用中受外力弯曲会产生裂纹甚至裂纹扩展形成断裂。
传统竹集成材的裂纹检测方法是借助数字图像技术和高性能摄像机，通过对比目标对象变形前后的数字散斑图像，测算出物体的形变和应变分布，从而获取目标对象的力学性能。由于裂纹细小，对于分辨率较低的数字散斑图像，其裂纹不易识别出来，而高性能摄像机价格昂贵在实际应用中难以普及，传统图像重建方法，如插值、十字搜索或曲面拟合算法，存在精度低、真实性差的缺点。因此，图像超分辨率重建技术具有重要的工程应用价值和市场前景。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于图像超分辨率重建网络的竹集成材裂纹检测方法，本竹集成材数字散斑对抗生成超分辨率图像的重建方法克服了超分辨率图像重建中的细节信息丢失和边缘模糊；加入注意力模块提高了竹集成材超分辨率图像重建的真实性；将改进残差网络引入生成器中，提高了网络性能；重建后的超分辨率图像精度高，真实性高；利用从生成器生成出的超分辨率散斑图像中提取出的信息对生成器模型进行二次检验，该检验方法从客观角度评价了生成器的性能。
为实现上述技术目的，本发明采取的技术方案为：
一种基于图像超分辨率重建网络的竹集成材裂纹检测方法，包括：
步骤1、先用白色哑光漆喷涂竹集成材表面，待白色哑光漆干透后喷涂黑色哑光漆，使得竹集成材表面形成黑白散斑；
步骤2、连续采集N张竹集成材受外部作用力产生扩展尖端裂纹的原始高清图像，并对每张原始高清图像进行去黑边裁剪得到N张与原始高清图像相对应的原始高分辨率图像IHR；
步骤3、利用双三次插值降采样方法分别对N张原始高分辨率图像IHR进行处理，得到每张原始高分辨率图像IHR相对应的低分辨率图像ILR；
步骤4、将N张原始高分辨率图像IHR和N张低分辨率图像ILR进行组合，制作N组数据集，每组数据集中包含一张原始高分辨率图像IHR和与之降采样生成的低分辨率图像ILR，并将N组数据集分成训练集、测试集和验证集；
步骤5：构建改进残差网络模型；
步骤6：将改进残差网络模型作为生成器的网络模型，将生成器和判别器组合构建得到密集残差相对平均生成对抗网络模型；
步骤7：利用密集残差相对平均生成对抗网络模型对训练集数据进行训练，得到训练好的生成器；
步骤8：用以高速摄像机为主的图像采集系统和以普通摄像机为主的图像采集系统分别采集在三点加载断裂实验中的竹集成材的表面数字散斑图像，进而分别得到同一时间序列下的多张高分辨率散斑图像和低分辨率散斑图像；
步骤9：分析步骤8中同一时间节点下的高分辨率散斑图像和低分辨率散斑图像经生成器生成的超分辨率散斑图像，分别测算高分辨率散斑图像中尖端裂纹扩展的实际距离L和超分辨率散斑图像中尖端裂纹扩展的实际距离L′，对L和L′进行相减后取绝对值，得出高分辨率散斑图像和超分辨率散斑图像中尖端裂纹扩展的实际距离差值ΔL；
步骤10：循环步骤9，记录下时间序列中每一时间节点下的高分辨率散斑图像和超分辨率散斑图像中尖端裂纹扩展的实际距离差值ΔL，直到最后一个时间节点结束并停止记录；
步骤11：计算步骤10中所有时间节点下的高分辨率散斑图像和超分辨率散斑图像的尖端裂纹扩展的实际距离差值的平均值ΔLe；
步骤12：设置误差阈值ε，若平均值ΔLe小于等于误差阈值ε，则判断生成器性能为良好，即可输出时间序列中最后时间节点下的超分辨率散斑图像的竹集成材裂纹位置信息；若平均值ΔLe大于误差阈值ε，则返回步骤7，对步骤7中的生成器进行重新训练。
作为本发明进一步改进的技术方案，所述的步骤5包括：
5.1、搭建的改进残差网络模型按照顺序包含1个卷积层、16个密集残差块、1个卷积层、1个上采样层和1个卷积层；
5.2、其中16个密集残差块两两之间进行短接，实现局部残差；
5.3、将改进残差网络模型中第1个卷积层的输出结果和倒数第2个卷积层的输出结果进行相加，实现全局残差；
5.4、每个密集残差块均包含4个级联的二级块和1个卷积层；
5.5、每个二级块由1个卷积层、1个激活层和1个注意力模块组成，数据在二级块中的传递路径依次为卷积层、激活层和注意力模块，其中注意力模块在传递路径中处于短接状态；
5.6、改进残差网络模型中不包含BN层。
作为本发明进一步改进的技术方案，所述步骤5.5的注意力模块的计算过程为：
5.5.1、对注意力模块的输入数据分别进行最大池化和平均池化的操作；
5.5.2、使用卷积层对最大池化后的特征进行深度提取，并将深度提取的数据依次通过ReLU激活层、卷积层和Sigmoid激活层；使用卷积层对平均池化后的特征进行深度提取，并将深度提取的数据依次通过ReLU激活层、卷积层和Sigmoid激活层；所述注意力模块的计算过程为：
其中，C为输入的特征通道数；
为经卷积层、激活层和平均池化层输出后的特征张量；
为经卷积层、激活层和最大池化层输出后的特征张量；W0是注意力模块中第1个卷积层上的权值，W1是注意力模块中第2个卷积层上的权值；f(x)＝max(0，x)为ReLU激活函数，当输入的x小于0时，f(x)为0，否则，f(x)为x；σ为Sigmoid激活函数。
作为本发明进一步改进的技术方案，所述的步骤6包括：
6.1、生成器的网络模型采用步骤5中的改进残差网络模型；
6.2、判别器使用基于相对均值的判别器DRa：
其中，σ为Sigmoid激活函数；xr表示原始高分辨率图像的真实像素点分布，xf表示经过超分辨率重建后的像素点分布；C(X)是评估输入图像的真实程度；
表示对所有[(xf)]取均值操作；
表示对所有[(xr)]取均值操作；
6.3、判别器按照单元层构成顺序，依次包括1个卷积层、1个Leaky ReLU激活层、n2个卷积块、1个全连接层、1个LReLU激活层、1个全连接层和1个Sigmoid激活层；
6.4、判别器的损失函数
为：
其中，
表示对所有[log(DRa(xr，xf))]取均值操作；
表示对所有[log(1-DRa(xf，xr))]取均值操作；
6.5、生成器的损失函数LG为：
其中，λ表示对抗损失函数
的影响系数，η表示内容损失函数L1的影响系数；Wi，j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征图的宽度；Hi，j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征图的高度；φi，j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征映射；
表示对所有[log(1-DRa(xr，xf))]取均值操作；
表示对所有[log(DRa(xf，xr))]取均值操作；
表示原始高分辨率图像(x，y)点对应的像素值大小，
表示经过超分辨率重建之后的超分辨率图像(x，y)点对应的像素值大小；w表示低分辨率图像ILR的宽度；h表示低分辨率图像ILR的高度；s是原始高分辨率图像IHR变成低分辨率图像ILR的缩放系数。
作为本发明进一步改进的技术方案，所述的步骤7包括：
7.1、密集残差相对平均生成对抗网络模型的训练集数据包含低分辨率图像ILR和原始高分辨率图像IHR；
7.2、将低分辨率图像ILR输入生成器中，输出得到重建后的超分辨率图像ISR；
7.3、将超分辨率图像ISR和原始高分辨率图像IHR输入到判别器中，计算判别损失
并更新判别器；
7.4、将超分辨率图像ISR和原始高分辨率图像IHR分别输入预训练好的判别器中，通过判别器的特征值计算感知损失Lpercep；
7.5、通过超分辨率图像IDR和原始高分辨率图像IHR计算像素间内容损失L1和对抗损失函数
7.6、计算生成器的总损失Lc，并根据LG更新生成器；
7.7、迭代步骤7.2到步骤7.6，总共T2次，第T2次更新得到的生成器即为训练好的生成器。
作为本发明进一步改进的技术方案，所述的步骤8包括：
在竹集成材上绘制一条红色竖直线段，用以高速摄像机为主的图像采集系统和以普通摄像机为主的图像采集系统分别采集在三点加载断裂实验中的竹集成材的表面数字散斑图像，从而分别得到同一时间序列下的多张高分辨率散斑图像和低分辨率散斑图像。
作为本发明进一步改进的技术方案，所述的步骤9包括：
9.1、以步骤8中ti时刻的高分辨率散斑图像作为参考图像；
9.2、测量高分辨率散斑图像中预制裂纹尖端到红色竖直线段的实际距离，记为x；在高分辨率散斑图像中测量预制裂纹尖端到红色竖直线段的像素距离，记为x0个像素点；
9.3、在高分辨率散斑图像中测量裂纹尖端位置到红色竖直线段的像素距离，记为d个像素点；
9.4、根据公式
计算出高分辨率散斑图像中尖端裂纹扩展长度的实际距离L；
9.5、将步骤8中ti时刻的低分辨率散斑图像传入生成器中生成ti时刻的超分辨率散斑图像；
9.6、计算ti时刻的超分辨率散斑图像中裂纹尖端位置到红色竖直线段的像素距离，记为d′个像素点；
9.7、依据步骤9.2中已经测算好的两个参数x和x0，根据公式
计算出超分辨率散斑图像中尖端裂纹扩展长度的实际距离L′；
9.8、将步骤9.4计算得到的实际距离L和步骤9.7中计算得到的实际距离L′，进行相减后取绝对值，得到实际距离差值ΔL。
本发明的有益效果为：
(1)本发明以竹集成材散斑图像为基础，建立了一种基于图像超分辨率重建网络的竹集成材裂纹检测方法，将注意力模块应用于密集残差块并作为单元构造注意力密集残差网络，提高网络获取图像高频信息的能力。
(2)本发明将改进后的残差网络作为生成对抗网络的生成器，参照相对均值生成对抗网络的判别器，构建了一种基于注意力密集残差结构和相对均值的生成对抗网络模型ADRAGAN，使重建出的超分辨率图像边缘更锐利、细节更丰富。
(3)本发明基于改进生成对抗网络建立超分辨率图像重建的网络模型；基于改进残差网络的生成器经过训练得到超分辨率图像的特征分布；本发明克服了超分辨率图像重建中的细节信息丢失和边缘模糊；加入注意力模块提高了竹集成材超分辨率图像重建的真实性；将全局和局部残差引入生成器中，设计密集残差块实现多层特征信息的融合，实现了梯度自适应更新，加快了节点权值的收敛速度，提高了网络性能；采用综合损失对生成器网络模型的训练过程进行监督，提高了图像质量评估的客观性。
(4)本发明通过分析同一时间节点下的高分辨率散斑图像和低分辨率散斑图像经生成器生成的超分辨率散斑图像，进而检测生成器性能是否良好，从客观角度评价了生成器的性能，最后利用性能良好的生成器对竹集成材散斑图像进行图像超分辨率重建，并求取裂纹尖端的位置信息。
附图说明
图1为高速摄像机拍摄的竹集成材数字散斑高清图像去除黑边后的原始高分辨率图像。
图2为降采样后生成的低分辨率图像。
图3为改进残差网络的结构图。
图4为注意力模块的结构图。
图5为密集残差相对平均生成对抗网络中的生成器和判别器的结构图。
图6为密集残差相对平均生成对抗网络训练流程图。
图7为高分辨率散斑图像中竹集成材裂纹扩展长度的相关计算尺寸图。
图8为生成器检验和竹集成材裂纹扩展信息获取流程图。
具体实施方式
下面根据附图对本发明的具体实施方式作进一步说明：
一种基于图像超分辨率重建网络的竹集成材裂纹检测方法，包括：
步骤1、先用白色哑光漆喷涂竹集成材表面，为避免一次喷涂过厚并保证白色哑光漆能够完全覆盖竹材底色，分两次喷涂白色哑光漆。待白色哑光漆干透后喷涂黑色哑光漆，使得竹集成材表面形成黑白散斑，并将竹集成材放置于常用的力学性能测试装置上。
步骤2、利用高速摄像机连续采集N张竹集成材受外部三点作用力产生扩展尖端裂纹的原始高清图像，并对每张原始高清图像进行去黑边裁剪得到N张与原始高清图像相对应的原始高分辨率图像IHR，如图1所示为去除黑边后的原始高分辨率图像。
步骤3、利用双三次插值降采样方法(取比例系数＝scale)分别对N张原始高分辨率图像IHR进行处理，得到每张原始高分辨率图像IHR相对应的低分辨率图像ILR，低分辨率图像的长(h)为原始高分辨率图像长的
低分辨率图像的宽(w)为原始高分辨率图像宽的
如图2所示为降采样后生成的低分辨率图像。
步骤4、将N张原始高分辨率图像IHR和N张低分辨率图像ILR进行一一对应的组合，制作N组数据集，每组数据集中包含一张原始高分辨率图像IHR和与之降采样生成的低分辨率图像ILR，并采用8:1:1的比例将N组数据集分成训练集、测试集和验证集。
步骤5：如图3所示，构建改进残差网络模型，作为生成对抗网络中的生成器。
所述的步骤5包括：
5.1、为防止网络层次加深引发网络模型的退化，引用残差网络ResNet的架构思想组建残差网络模型；如图3所示，搭建的改进残差网络模型按照顺序依次包含1个卷积层、16个密集残差块、1个卷积层、1个上采样层和1个卷积层；
5.2、其中16个密集残差块两两之间进行短接，实现局部残差；
5.3、将改进残差网络模型中第1个卷积层的输出结果和倒数第2个卷积层的输出结果进行相加，实现全局残差；
5.4、每个密集残差块均包含4个级联的二级块和1个卷积层；
5.5、每个二级块由1个卷积层、1个激活层和1个注意力模块组成，数据在二级块中的传递路径依次为卷积层、激活层和注意力模块，其中注意力模块在传递路径中处于短接状态，从而根据训练结果自适应调整传递路径中参数的大小；
(1)注意力模块提高了训练准确度，会给予注意力模块中的参数更多关注；
(2)注意力模块降低了训练结果，会无限缩小参数值使其接近于零。
5.6、去除网络模型中常用的BatchNormal(BN)层，即改进残差网络模型中不包含BN层，避免BN层的归一化处理造成图像色彩和纹理信息的丢失，影响后续超分辨率图像的重建精度。
如图4所示，所述步骤5.5的注意力模块的计算过程为：
5.5.1、为了使模型能够关注输入图像中有意义的信息(通道、空间信息)，提高图像还原度，选用CBAM(Convolutional Block Attention Module)注意力模型的框架结构，结合通道注意力和空间信息注意力构建新的注意力模型；
5.5.2、首先对注意力模块的输入数据分别进行最大池化和平均池化的操作；
5.5.3、然后使用两个卷积层分别对最大池化和平均池化后的特征进行深度提取，并用ReLU激活层输出保留的特征；
5.5.4、再通过ReLU激活层和卷积层，将通道恢复到初始通道的数量，降低模型的计算成本；
5.5.5、最后加入卷积层和Sigmoid激活层，将每个通道的比例系数限制在0到1之间，以减小各通道权重计算的分散程度，让模型更加关注图像中的重点区域，学会增强细节信息，改进注意力模块的计算过程为：
其中，C为输入的特征通道数；
为经卷积层、激活层和平均池化层输出后的特征张量；
为经卷积层、激活层和最大池化层输出后的特征张量；W0是注意力模块中第1个卷积层上的权值，W1是注意力模块中第2个卷积层上的权值；f(x)＝max(0，x)为ReLU激活函数，当输入的x小于0时，f(x)为0，否则，f(x)为x；σ为Sigmoid激活函数。
步骤6：将改进残差网络模型作为生成器的网络模型，将生成器和判别器组合构建得到密集残差相对平均生成对抗网络模型，简称改进生成对抗网络模型。
如图5所示，所述的步骤6包括：
6.1、生成器的网络模型采用步骤5中的改进残差网络模型；
6.2、为了使判别器更具有全局性，使用基于相对均值的判别器DRa：
其中，σ为Sigmoid激活函数；xr表示原始高分辨率图像的真实像素点分布，xf表示经过超分辨率重建后的像素点分布；C(X)是评估输入图像的真实程度；
表示对所有[(xf)]取均值操作；
表示对所有[(xr)]取均值操作；
6.3、判别器按照单元层构成顺序，依次包括1个3×3卷积层、1个Leaky ReLU激活层、n2个卷积块(n2取7，每个卷积块由1个3×3卷积层、1个BN层和1个Leaky ReLU激活层依次串联组成)、1个全连接层(包含1024个输出节点)、1个LReLU激活层、1个全连接层(包含1个输出节点)和1个Sigmoid激活层；
6.4、判别器的损失函数
为：
其中，
表示对所有[log(DRa(xr，xf))]取均值操作；
表示对所有[log(1-DRa(xf，xr))]取均值操作；xf＝G(xi)，xi表示输入的低分辨率图像的数据分布；
6.5、由于利用单一损失函数指导不善于还原出的图像的高频细节信息，还原出的图像过于平滑，视觉效果模糊，本算法结合感知损失Lpercep、内容损失L1和对抗损失
构造了综合损失函数作为生成器的损失函数LG：生成器的损失函数LG为：
其中，λ表示对抗损失函数
的影响系数，η表示内容损失函数L1的影响系数；Wi，j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征图的宽度；Hi，j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征图的高度；φi，j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征映射；
表示对所有[log(1-DRa(xr，xf))]取均值操作；
表示对所有[log(DRa(xf，xr))]取均值操作；
表示原始高分辨率图像(x，y)点对应的像素值大小，
表示经过超分辨率重建之后的超分辨率图像(x，y)点对应的像素值大小；w表示低分辨率图像ILR的宽度；h表示低分辨率图像ILR的高度；s是原始高分辨率图像IHR变成低分辨率图像ILR的缩放系数。
步骤7：利用密集残差相对平均生成对抗网络模型对训练集数据进行训练，得到训练好的生成器，网络训练流程如图6所示。
所述的步骤7包括：
7.1、密集残差相对平均生成对抗网络模型的训练集数据包含低分辨率图像ILR和原始高分辨率图像IHR；
7.2、将低分辨率图像ILR输入生成器中，输出得到重建后的超分辨率图像ISR；
7.3、将超分辨率图像ISR和原始高分辨率图像IHR输入到判别器中，计算判别损失
并更新判别器；
7.4、将超分辨率图像ISR和原始高分辨率图像IHR分别输入预训练好的判别器中，通过判别器的特征值计算感知损失Lpercep；
7.5、通过超分辨率图像ISR和原始高分辨率图像IHR计算像素间内容损失L1和对抗损失函数
7.6、计算生成器的总损失LG，并根据LG更新生成器；
7.7、迭代步骤7.2到步骤7.6，总共T2次，第T2次更新得到的生成器即为训练好的生成器，生成器的网络模型，即为本算法得到的图像超分辨率重建模型。
步骤8：在竹集成材上绘制一条红色竖直线段，分别用以高速摄像机为主的图像采集系统和以普通摄像机为主的图像采集系统拍摄采集在三点加载断裂实验中的竹集成材的表面数字散斑图像，分别得到同一时间序列下的多张高分辨率散斑图像和低分辨率散斑图像；
步骤9：分析同一时间节点下的高分辨率散斑图像和低分辨率散斑图像生成的超分辨率散斑图像，分别测算两张散斑图像中尖端裂纹扩展的实际距离L和L′，对两者进行相减取绝对值，得出两张散斑图像中尖端裂纹扩展的实际距离差值ΔL；
如图8所示，所述的步骤9包括：
9.1、以步骤8中ti时刻的原始高分辨率散斑图像作为参考图像；
9.2、如图7所示，首先测量出高分辨率散斑图像中预制裂纹尖端到红色竖直线段的实际距离记为x(mm)；在高分辨率散斑图像中测量预制裂纹尖端到红色竖直线段的像素距离，记为x0个像素点；
9.3、再在高分辨率散斑图像中测量裂纹尖端位置到红色竖直线段的像素距离记为d个像素点；
9.4、根据公式
计算出高分辨率散斑图像中尖端裂纹扩展长度的实际距离L；
9.5、将ti时刻的低分辨率散斑图像传入生成器中生成ti时刻的超分辨率散斑图像；
9.6、计算ti时刻的超分辨率散斑图像中裂纹尖端位置到红色竖直线段的像素距离，记为d′个像素点；
9.7、依据步骤9.2中已经测算好的两个参数x和x0，根据公式
计算出超分辨率散斑图像中尖端裂纹扩展长度的实际距离L′；
9.8、将步骤9.4和步骤9.7中的高分辨率散斑图像中尖端裂纹扩展长度的实际距离L和超分辨率散斑图像中尖端裂纹扩展长度的实际距离L′进行相减后取绝对值，得到实际距离差值ΔL；
步骤10：循环步骤9，记录下时间序列T＝t0，t1，t2…tn每一时间节点的两张散斑图像中尖端裂纹扩展的实际距离差值AL，直到最后一个时间节点tn计算完成并停止记录；
步骤11：根据公式
计算步骤10中所有时间节点下的高分辨率散斑图像和超分辨率散斑图像的尖端裂纹扩展的实际距离差值的平均值ΔLe；
步骤12：人为设置误差阈值ε，对步骤11中的平均值ΔLe进行比对，如果平均值ΔLe小于等于误差阈值ε，就确定生成器性能良好，生成出的超分辨率图像可信度较高，即可输出时间序列中最后时间节点tn下的超分辨率散斑图像的竹集成材裂纹位置信息；如果平均值ΔLe大于误差阈值ε，则返回步骤7，需要对步骤7中的生成器进行重新训练。生成器检验和竹集成材裂纹扩展信息获取流程如图8所示。
本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。
Claims (5)
1.一种基于图像超分辨率重建网络的竹集成材裂纹检测方法，其特征在于：包括：
步骤1、先用白色哑光漆喷涂竹集成材表面，待白色哑光漆干透后喷涂黑色哑光漆，使得竹集成材表面形成黑白散斑；
步骤2、连续采集N张竹集成材受外部作用力产生扩展尖端裂纹的原始高清图像，并对每张原始高清图像进行去黑边裁剪得到N张与原始高清图像相对应的原始高分辨率图像IHR；
步骤3、利用双三次插值降采样方法分别对N张原始高分辨率图像IHR进行处理，得到每张原始高分辨率图像IHR相对应的低分辨率图像ILR；
步骤4、将N张原始高分辨率图像IHR和N张低分辨率图像ILR进行组合，制作N组数据集，每组数据集中包含一张原始高分辨率图像IHR和与之降采样生成的低分辨率图像ILR，并将N组数据集分成训练集、测试集和验证集；
步骤5：构建改进残差网络模型；
步骤6：将改进残差网络模型作为生成器的网络模型，将生成器和判别器组合构建得到密集残差相对平均生成对抗网络模型；
步骤7：利用密集残差相对平均生成对抗网络模型对训练集数据进行训练，得到训练好的生成器；
步骤8：用以高速摄像机为主的图像采集系统和以普通摄像机为主的图像采集系统分别采集在三点加载断裂实验中的竹集成材的表面数字散斑图像，进而分别得到同一时间序列下的多张高分辨率散斑图像和低分辨率散斑图像；
步骤9：分析步骤8中同一时间节点下的高分辨率散斑图像和低分辨率散斑图像经生成器生成的超分辨率散斑图像，分别测算高分辨率散斑图像中尖端裂纹扩展的实际距离L和超分辨率散斑图像中尖端裂纹扩展的实际距离L′，对L和L′进行相减后取绝对值，得出高分辨率散斑图像和超分辨率散斑图像中尖端裂纹扩展的实际距离差值ΔL；
步骤10：循环步骤9，记录下时间序列中每一时间节点下的高分辨率散斑图像和超分辨率散斑图像中尖端裂纹扩展的实际距离差值ΔL，直到最后一个时间节点结束并停止记录；
步骤11：计算步骤10中所有时间节点下的高分辨率散斑图像和超分辨率散斑图像的尖端裂纹扩展的实际距离差值的平均值ΔLe；
步骤12：设置误差阈值ε，若平均值ΔLe小于等于误差阈值ε，则判断生成器性能为良好，即可输出时间序列中最后时间节点下的超分辨率散斑图像的竹集成材裂纹位置信息；若平均值ΔLe大于误差阈值ε，则返回步骤7，对步骤7中的生成器进行重新训练；
所述的步骤5包括：
5.1、搭建的改进残差网络模型按照顺序包含1个卷积层、16个密集残差块、1个卷积层、1个上采样层和1个卷积层；
5.2、其中16个密集残差块两两之间进行短接，实现局部残差；
5.3、将改进残差网络模型中第1个卷积层的输出结果和倒数第2个卷积层的输出结果进行相加，实现全局残差；
5.4、每个密集残差块均包含4个级联的二级块和1个卷积层；
5.5、每个二级块由1个卷积层、1个激活层和1个注意力模块组成，数据在二级块中的传递路径依次为卷积层、激活层和注意力模块，其中注意力模块在传递路径中处于短接状态；
5.6、改进残差网络模型中不包含BN层；
所述步骤5.5的注意力模块的计算过程为：
5.5.1、对注意力模块的输入数据分别进行最大池化和平均池化的操作；
5.5.2、使用卷积层对最大池化后的特征进行深度提取，并将深度提取的数据依次通过ReLU激活层、卷积层和Sigmoid激活层；使用卷积层对平均池化后的特征进行深度提取，并将深度提取的数据依次通过ReLU激活层、卷积层和Sigmoid激活层；所述注意力模块的计算过程为：
其中，C为输入的特征通道数；
为经卷积层、激活层和平均池化层输出后的特征张量；
为经卷积层、激活层和最大池化层输出后的特征张量；W0是注意力模块中第1个卷积层上的权值，W1是注意力模块中第2个卷积层上的权值；f(x)＝max(0,x)为ReLU激活函数,当输入的x小于0时，f(x)为0，否则，f(x)为x；σ为Sigmoid激活函数。
2.根据权利要求1所述的基于图像超分辨率重建网络的竹集成材裂纹检测方法，其特征在于：所述的步骤6包括：
6.1、生成器的网络模型采用步骤5中的改进残差网络模型；
6.2、判别器使用基于相对均值的判别器DRa：
其中，σ为Sigmoid激活函数；xr表示原始高分辨率图像的真实像素点分布，xf表示经过超分辨率重建后的像素点分布；C(X)是评估输入图像的真实程度；
表示对所有[(xf)]取均值操作；
表示对所有[(xr)]取均值操作；
6.3、判别器按照单元层构成顺序，依次包括1个卷积层、1个Leaky ReLU激活层、n2个卷积块、1个全连接层、1个LReLU激活层、1个全连接层和1个Sigmoid激活层；
6.4、判别器的损失函数
为：
其中，
表示对所有[log(DRa(xr,xf))]取均值操作；
表示对所有[log(1-DRa(xf,xr))]取均值操作；
6.5、生成器的损失函数LG为：
其中，λ表示对抗损失函数
的影响系数，η表示内容损失函数L1的影响系数；Wi,j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征图的宽度；Hi,j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征图的高度；φi,j表示VGG19网络中第i个激活层之前的特征通过第j个卷积之后获得的特征映射；
表示对所有[log(1-DRa(xr,xf))]取均值操作；
表示对所有[log(DRa(xf,xr))]取均值操作；
表示原始高分辨率图像(x,y)点对应的像素值大小，
表示经过超分辨率重建之后的超分辨率图像(x,y)点对应的像素值大小；w表示低分辨率图像ILR的宽度；h表示低分辨率图像ILR的高度；s是原始高分辨率图像IHR变成低分辨率图像ILR的缩放系数。
3.根据权利要求1所述的基于图像超分辨率重建网络的竹集成材裂纹检测方法，其特征在于：所述的步骤7包括：
7.1、密集残差相对平均生成对抗网络模型的训练集数据包含低分辨率图像ILR和原始高分辨率图像IHR；
7.2、将低分辨率图像ILR输入生成器中，输出得到重建后的超分辨率图像ISR；
7.3、将超分辨率图像ISR和原始高分辨率图像IHR输入到判别器中，计算判别损失
并更新判别器；
7.4、将超分辨率图像ISR和原始高分辨率图像IHR分别输入预训练好的判别器中，通过判别器的特征值计算感知损失Lpercep；
7.5、通过超分辨率图像ISR和原始高分辨率图像IHR计算像素间内容损失L1和对抗损失函数
7.6、计算生成器的总损失LG，并根据LG更新生成器；
7.7、迭代步骤7.2到步骤7.6，总共T2次，第T2次更新得到的生成器即为训练好的生成器。
4.根据权利要求1所述的基于图像超分辨率重建网络的竹集成材裂纹检测方法，其特征在于：所述的步骤8包括：
在竹集成材上绘制一条红色竖直线段，用以高速摄像机为主的图像采集系统和以普通摄像机为主的图像采集系统分别采集在三点加载断裂实验中的竹集成材的表面数字散斑图像，从而分别得到同一时间序列下的多张高分辨率散斑图像和低分辨率散斑图像。
5.根据权利要求1所述的基于图像超分辨率重建网络的竹集成材裂纹检测方法，其特征在于：
所述的步骤9包括：
9.1、以步骤8中ti时刻的高分辨率散斑图像作为参考图像；
9.2、测量高分辨率散斑图像中预制裂纹尖端到红色竖直线段的实际距离，记为x；在高分辨率散斑图像中测量预制裂纹尖端到红色竖直线段的像素距离，记为x0个像素点；
9.3、在高分辨率散斑图像中测量裂纹尖端位置到红色竖直线段的像素距离，记为d个像素点；
9.4、根据公式
计算出高分辨率散斑图像中尖端裂纹扩展长度的实际距离L；
9.5、将步骤8中ti时刻的低分辨率散斑图像传入生成器中生成ti时刻的超分辨率散斑图像；
9.6、计算ti时刻的超分辨率散斑图像中裂纹尖端位置到红色竖直线段的像素距离，记为d′个像素点；
9.7、依据步骤9.2中已经测算好的两个参数x和x0，根据公式
计算出超分辨率散斑图像中尖端裂纹扩展长度的实际距离L′；
9.8、将步骤9.4计算得到的实际距离L和步骤9.7中计算得到的实际距离L′，进行相减后取绝对值，得到实际距离差值ΔL。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210833979.5A CN114972332B (zh) | 2022-07-15 | 2022-07-15 | 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210833979.5A CN114972332B (zh) | 2022-07-15 | 2022-07-15 | 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972332A CN114972332A (zh) | 2022-08-30 |
| CN114972332B true CN114972332B (zh) | 2023-04-07 |
Family
ID=82968678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210833979.5A Active CN114972332B (zh) | 2022-07-15 | 2022-07-15 | 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972332B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116469047A (zh) * | 2023-03-20 | 2023-07-21 | 南通锡鼎智能科技有限公司 | 针对实验室教学的小目标检测方法及检测装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037131A (zh) * | 2020-08-31 | 2020-12-04 | 上海电力大学 | 一种基于生成对抗网络的单图像超分辨率重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024009B2 (en) * | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN113901868B (zh) * | 2021-08-25 | 2023-08-04 | 国网四川省电力公司电力科学研究院 | 一种变电现场安全监控方法及系统 |
-
2022
- 2022-07-15 CN CN202210833979.5A patent/CN114972332B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037131A (zh) * | 2020-08-31 | 2020-12-04 | 上海电力大学 | 一种基于生成对抗网络的单图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972332A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112116601B (zh) | 基于生成对抗残差网络的压缩感知采样重建方法及系统 | |
| CN112580782B (zh) | 基于通道增强的双注意力生成对抗网络及图像生成方法 | |
| CN110288526B (zh) | 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法 | |
| CN112508782B (zh) | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 | |
| CN112002009B (zh) | 一种基于生成对抗网络的无监督重建三维人脸方法 | |
| CN111999731B (zh) | 一种基于感知生成对抗网络的电磁逆散射成像方法 | |
| CN113592018B (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
| CN114972332B (zh) | 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 | |
| Li et al. | Face inpainting via nested generative adversarial networks | |
| CN116051382A (zh) | 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 | |
| Luo et al. | Bi-GANs-ST for perceptual image super-resolution | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| Rao et al. | Extreme feature regions detection and accurate quality assessment for point-cloud 3D reconstruction | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| Jin et al. | Image restoration method based on GAN and multi-scale feature fusion | |
| Krishnan et al. | A novel underwater image enhancement technique using ResNet | |
| CN113298700A (zh) | 一种在散射场景中的高分辨图像重构方法 | |
| CN116612167A (zh) | 一种实木锯材去缺陷的纹理拼接方法 | |
| Kumar et al. | Underwater image enhancement using deep learning | |
| Zou et al. | EDCNN: a novel network for image denoising | |
| Li et al. | Image inpainting research based on deep learning | |
| Zhuge et al. | An improved deep multiscale crowd counting network with perspective awareness | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN114529519B (zh) | 基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统 | |
| Cao | Studies Advanced in Image Super-resolution Reconstruction based on Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |