CN113034469B - 基于transformer的热成像检测管道内部缺陷的方法 - Google Patents
基于transformer的热成像检测管道内部缺陷的方法 Download PDFInfo
- Publication number
- CN113034469B CN113034469B CN202110316998.6A CN202110316998A CN113034469B CN 113034469 B CN113034469 B CN 113034469B CN 202110316998 A CN202110316998 A CN 202110316998A CN 113034469 B CN113034469 B CN 113034469B
- Authority
- CN
- China
- Prior art keywords
- image
- gamma
- value
- network
- gray value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001931 thermography Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000013178 mathematical model Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 19
- 230000002950 deficient Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003302 ferromagnetic material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于transformer的热成像检测管道内部缺陷的方法，该方法的步骤包括原始图像归一化处理，gamma变换，反变换处理和构造transformer模型并使用transformer进行图像分类；transformer模型由线性变换操作和多个自注意力网络、多层感知机网络以及残差网络构成；图像分划为多个图像区块后进行线性变换，将输入图像转化为大小固定的二维矩阵；图像标准化后传入多头自注意力网络，进行初步的分类；图像标准化后传入放缩标准注意力网络和拼接注意力网络，针对裂缝类型的缺陷和其他类型的缺陷进行分类处理；图像标准化后传入多层感知机网络中，最终得到分类结果。本发明可以解决原始图像对比度较低导致的缺陷分类不准确问题，对图像的批量处理和分类节约了人力成本。
Description
技术领域
本发明涉及管道检测技术领域，尤其涉及一种基于transformer的热成像检测管道内部缺陷的方法。
背景技术
管道作为运输石油、天然气等能源的主要运输手段，主要铺设在地底或者海底。管道经过长时间的使用，内部出现开裂、腐蚀等现象，情况严重甚至造成管道发生泄漏，导致环境污染，因此对现役管道进行探伤十分重要。现有的管道检测技术主要为漏磁检测技术，但漏磁检测技术仅适用于铁磁材料的管道，对于一些横向裂纹，尤其是应力腐蚀裂纹检测精度不高，而热波具有横向传播特性，对于横向裂纹有较高的敏感性。因此使用热成像检测技术检测此类缺陷。热成像检测管道内部缺陷的现有的技术是通过对待测管道进行热激励，使待测管道表面产生温度场。当待测管道表面存在一定的缺陷时，缺陷将会阻碍热传导，从而导致缺陷位置的温度场分布发生改变。热像仪通过捕捉管道中温度场的差异，将温度值转化为灰度值，通过图像直观的表达出缺陷的具体信息。现有热成像检测技术多应用于精密仪器和金属工件等体积有限的物体，检测环境开放。热成像检测技术应用于管道内检测时，管道体积庞大，检测环境密闭，因此存在一系列问题，如下：
(1)管道内检测设备携带的电池数量有限，热激励设备功率降低，管道中缺陷处温度场差异减小，热像仪采集到的原始图像对比度较低；
(2)管道较长，热像仪采集到的原始图像数目较多，即使经过处理，对检测结果进行辨别仍然需要耗费大量的人力资源。
发明内容
针对上述现有技术的不足，本申请提供一种基于transformer的热成像检测管道内部缺陷的方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于transformer的热成像检测管道内部缺陷的方法，包括如下步骤：
步骤1：热像仪采集管道内部的原始图像，读取原始图像各像素的灰度值，记为ki，ki∈(0,255)，统计各灰度值出现的次数P(ki)，得到原始图像的灰度直方图T1；
步骤2：计算原始图像的平均灰度值最大灰度值Gmax和最小灰度值Gmin，对灰度值进行归一化处理；
所述归一化处理采用的公式如下：
归一化处理的公式考虑到原始图像的灰度值偏小的问题，使归一化后的灰度值相对于一般归一化处理偏大，便于对图像进行gamma变换。
步骤3：对归一化处理后的图像进行gamma变换，gamma变换公式f′(x,y)＝Q·f(x,y)γ；
其中，Q为常数，通常取1，x和y分别为归一化处理后图像某一像素的横纵坐标，f(x,y)为相应像素的灰度值，f′(x,y)为gamma变换后相应像素的灰度值，γ为gamma值，γ取值不同，图像的变换效果也不同；
所述gamma变换时进一步确定γ值的取值范围：
当且/>图像灰度值整体偏小，即图像偏暗，γ值取值范围为(1,m)；
当或/>且/>图像灰度值整体偏大，即图像偏亮，γ值取值范围为(0,1)；
其余情况认为图像整体灰度值适中，γ值取1；
其中，Rmedian为图像灰度值的中位数，Rmode为图像灰度值的众数，R′mode为图像灰度值的次众数，为图像灰度值的平均数。
步骤4：为了保证经过gamma变换后图像易于分辨且不至于丢失过多信息，通过图像对比度和图像的二元熵量化gamma变换对的图像处理效果，得到准确的γ值。过程如下：
步骤4.1：在给定γ值范围内得到随机数γ1，即γ＝γ1；计算此时图像对比度C1，令C＝C1，并计算图像的二元熵H1,令H＝H1；
其中，C和H分别为当前最优的对比度和二元熵；
步骤4.2：更新γ值为γ2，计算γ取值为γ2时图像对比度C1′和图像二元熵H1′；
步骤4.3：计算图像对比值若K>1,则γ＝γ2，C＝C′1，H＝H′1；若K<1，则γ＝γ1,其中p为对比度和二元熵之间的比例系数；
步骤4.4：循环执行步骤4.2和步骤4.3，得到最优的γ值，记为γbest。
步骤5：对归一化gamma变换后的图像进行归一化反变换处理得到图像I，归一化反变换公式
步骤6：将图像I的大小用图像分辨率描述，即I∈RH×W，并将图像I分划为N个分辨率为P×P的图像区块，即P×P大小的灰度矩阵，即Ip∈RN×P×P，N个P×P的矩阵构成NP×P大小的分块矩阵，即N个图像区块构成完整的原始图像I；其中，R为自然数，H为图像I的水平像素数，W为图像I的垂直像素数，P为图像I分划后图像区块的水平和垂直像素数，Ip为分辨率为P×P的图像区块；
步骤7：构建transformer图像处理网络，将图像I进行线性变换得到一系列图像区块，用图像矩阵z0统一表示；
所述将图像I进行线性变换的过程如下：
将每个图像区块，即每个P2维向量进行线性变换，有其中P2维向量与P2维向量转置相乘，便于对图像缺陷特征，尤其是裂纹特征的提取，Aleft为D×P大小的常数矩阵，Aright为P×D大小的常数矩阵；经过线性变换后，每个P2维向量转化成固定大小的D维向量，N个D维向量构成N×D大小的二维矩阵，即输入图像转化为：
Aleft∈RD×P,Aright∈RP×D，Apos∈R(N+1)·D×D
其中，z0为由一系列线性变换后图像区块组成的图像矩阵，Xclass为分类标志位，Apos为图像区块的位置编码，便于后面对图像区块的分类操作。
步骤8：构建分类编码机制，输入步骤7线性变换后的图像矩阵z0得到经过缺陷特征分类后的一系列图像区块z1，过程如下：
步骤8.1：将z0进行批量标准化Batch Normalization，批量标准化公式如下：
其中，μ是平移参数，σ是缩放参数，b是再平移参数，g是再缩放参数；
步骤8.2：数据标准化后，传入到多头自注意力网络Multi-head Self-Attention，对图像区块进行初步权重分配，目的是在多层感知机网络中首先将缺陷图像区块、无缺陷图像区块和异常图像区块进行分类；
z′1＝MSA(BN(z0))+z0
其中，Z′1是Z0经过多头自注意力网络处理的图像矩阵，BN是批量标准化操作，MSA是多头自注意力网络；
步骤8.3：数据进行实例标准化instance normalization，实例标准化公式如下：
其中，xipq是图像区块i在坐标(p,q)像素处灰度值，H是图像的水平像素数，W是图像的垂直像素数，μi是图像区块i的像素平均值，是图像区块i的像素方差，ε是常数，ximn是图像区块i在坐标(m,n)像素处灰度值，himn是图像区块i经过实例标准化后在(m,n)像素处灰度值；
步骤8.4：将标准化后的图像数据传入到放缩标准注意力网络Scaled GeneralAttention和拼接注意力网络Concat Attention，放缩标准注意力网络以缺陷的形状、大小为分类标准对含有不同缺陷的图像区块分配权重，拼接注意力网络以裂纹缺陷的特征为分类标准对含有裂纹缺陷的图像区块和不含有裂纹缺陷的图像区块分配权重，放缩标准注意力网络起到辅助拼接注意力网络的作用；
z″1＝SGA(IN(z′1))+CA(IN(z′1))+z′1
其中，Z″1是Z′1经过放缩标准注意力网络和拼接注意力网络处理的图像矩阵，IN是实例标准化操作，SGA是放缩标准注意力网络，CA是拼接注意力网络；
步骤8.5：数据进行批量标准化Batch Normalization，传入到多层感知机网络Multi-Layer Perceptron，多层感知机网络根据注意力网络分配的权重进行具体的分类操作；
z1＝MLP(IN(z″1))+z″1
其中，Z1是Z″1经过多层感知机处理后经过分类的图像矩阵，MLP是多层感知机网络；
步骤8.6：各网络通过残差网络进行连接，提高图像识别的准确率。
步骤9：输出缺陷的分类结果，便于进一步对缺陷的分析和处理。
采用上述技术方案所产生的有益效果在于：
1、本发明提供的方法中，gamma变换使图像对比度和二元熵适中，在易于分辨的情况下不至于丢失太多信息；不仅如此，还考虑了热功率设备激励的变化和载体机器人是否出现故障的情况，按情况选择γ值的取值范围；
2、本发明提供的方法中，transformer模型由线性变换操作和多个自注意力网络、多层感知机网络以及残差网络构成，transformer模型经过较大规模的数据集预训练后，再迁移到较小规模数据集，其计算效率和准确度相较于现有的卷积神经网络具有显著的优势。管道较长，热像仪采集的图像数据庞大，根据需求将管道某一段的图像数据提取出来，输入到经过训练后的transformer模型中，可以更加快速、有效的识别出管道中缺陷信息。
3、本发明提供的方法中，图像分划为多个图像区块后进行线性变换，将输入图像转化为大小固定的二维矩阵，载体机器人在管道中缓慢的移动，热像仪采集到的图像尺寸较大，往往包含多个缺陷，将图像分块处理，减少图像尺寸，保证每个图像区块包含尽可能少的缺陷，从而提高图像分类的效率。
4、本发明提供的方法中，考虑到热成像检测技术的优点，在已有transformer的基础上，增加了两个并行的注意力网络：放缩标准注意力网络和标准注意力网络，在分类出管道不同缺陷下，有目的的识别出裂纹缺陷，充分发挥热成像检测技术在管道检测领域的优势，其缺陷分类不仅限于裂纹缺陷，分类结果可以与漏磁检测技术检测数据进行对比拟合，从而得到更为准确的缺陷信息。
附图说明
图1为本发明实施例中基于transformer的热成像检测管道内部缺陷的方法的流程图；
图2为本发明实施例中Transformer图像处理网络结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本实施例中基于transformer的热成像检测管道内部缺陷的方法如下所述：
步骤1：热像仪采集管道内部的原始图像，读取原始图像各像素的灰度值，记为ki，ki∈(0,255)，统计各灰度值出现的次数P(ki)，得到原始图像的灰度直方图T1；
本实施例中，热像仪采集到的原始图像是分辨率为160×120，灰度值范围0～255，图像帧频为9HZ的灰度图像。
步骤2：计算原始图像的平均灰度值最大灰度值Gmax和最小灰度值Gmin，对灰度值进行归一化处理；
所述归一化处理采用的公式如下：
归一化处理的公式考虑到原始图像的灰度值偏小的问题，使归一化后的灰度值相对于一般归一化处理偏大，便于对图像进行gamma变换。
步骤3：对归一化处理后的图像进行gamma变换，gamma变换公式f′(x,y)＝Q·f(x,y)γ；
其中，Q为常数，通常取1，x和y分别为归一化处理后图像某一像素的横纵坐标，f(x,y)为相应像素的灰度值，f′(x,y)为gamma变换后相应像素的灰度值，γ为gamma值，γ取值不同，图像的变换效果也不同；由于热像仪采集到的原始图像灰度值较低，一般情况下，γ值取值大于1，但是当热成像检测技术的载体机器人出现故障时，会造成管壁局部过激励，从而导致原始图像灰度值过高。
所述gamma变换时进一步确定γ值的取值范围：
当且/>图像灰度值整体偏小，即图像偏暗，γ值取值范围为(1,m)；
当或/>且/>图像灰度值整体偏大，即图像偏亮，γ值取值范围为(0,1)；
其余情况认为图像整体灰度值适中，γ值取1；
其中，Rmedian为图像灰度值的中位数，Rmode为图像灰度值的众数，R′mode为图像灰度值的次众数，R为图像灰度值的平均数。
步骤4：为了保证经过gamma变换后图像易于分辨且不至于丢失过多信息，通过图像对比度和图像的二元熵量化gamma变换对的图像处理效果，得到准确的γ值，过程如下：
步骤4.1：在给定γ值范围内得到随机数γ1，即γ＝γ1；计算此时图像对比度C1，令C＝C1，并计算图像的二元熵H1,令H＝H1；
其中，C和H分别为当前最优的对比度和二元熵；
步骤4.2：更新γ值为γ2，计算γ取值为γ2时图像对比度C1′和图像二元熵H1′；
步骤4.3：计算图像对比值若K>1,则γ＝γ2，C＝C′1，H＝H′1；若K<1，则γ＝γ1,其中p为对比度和二元熵之间的比例系数，一般取值为0.6；
步骤4.4：循环执行步骤4.2和步骤4.3，得到最优的γ值，记为γbest。
图像对比度计算公式为：
图像二元熵计算公式为
其中，Nx为图像水平像素数，Ny为图像垂直像素数。
步骤5：对归一化gamma变换后的图像进行归一化反变换处理得到图像I，归一化反变换公式
步骤6：将图像I的大小用图像分辨率描述，即I∈RH×W，由于管道较长，热像仪采取到的原始图像庞大，为了便于图像处理，将图像I分划为N个分辨率为P×P的图像区块，图像区块可以看做P2维向量，即/>N个P2维向量构成N×P2大小的二维矩阵，即N个图像区块构成完整的原始图像I；其中，R为自然数，H为图像I的水平像素数，W为图像I的垂直像素数，P为图像I分划后图像区块的水平和垂直像素数，Ip为分辨率为P×P的图像区块；
步骤7：构建transformer图像处理网络，其流程如图2所示，将图像I进行线性变换得到一系列图像区块，用图像矩阵z0统一表示；
所述将图像I进行线性变换的过程如下：
将每个图像区块，即每个P×P的灰度矩阵进行线性变换，有其中P×P灰度矩阵与其转置相乘，便于对图像特征，尤其是缺陷特征的提取，Aleft为D×P大小的常数矩阵，Aright为P×D大小的常数矩阵；经过线性变换后，每个P×P灰度矩阵转化成固定D×D大小的矩阵，N个D×D大小的矩阵构成ND×D大小的分块矩阵，即输入图像转化为：
Aleft∈RD×P,Aright∈RP×D，Apos∈R(N+1)·D×D
其中，z0为由一系列线性变换后图像区块组成的图像矩阵，Xclass为分类标志位，Apos为图像区块的位置编码，便于后面对图像区块的分类操作。
步骤8：构建分类编码机制，输入步骤7线性变换后的图像矩阵z0得到经过缺陷特征分类后的一系列图像区块z1，过程如下：
步骤8.1：将z0进行批量标准化Batch Normalization，批量标准化公式如下：
其中，μ是平移参数，σ是缩放参数，b是再平移参数，g是再缩放参数；
步骤8.2：数据标准化后，传入到多头自注意力网络Multi-head Self-Attention，对图像区块进行初步权重分配，目的是在多层感知机网络中首先将缺陷图像区块、无缺陷图像区块和异常图像区块进行分类；
z′1＝MSA(BN(z0))+z0
其中，Z′1是Z0经过多头自注意力网络处理的图像矩阵，BN是批量标准化操作，MSA是多头自注意力网络；
步骤8.3：数据进行实例标准化instance normalization，实例标准化公式如下：
其中，xipq是图像区块i在坐标(p,q)像素处灰度值，H是图像的水平像素数，W是图像的垂直像素数，μi是图像区块i的像素平均值，是图像区块i的像素方差，ε是常数，ximn是图像区块i在坐标(m,n)像素处灰度值，himn是图像区块i经过实例标准化后在(m,n)像素处灰度值；
步骤8.4：将标准化后的图像数据传入到放缩标准注意力网络Scaled GeneralAttention和拼接注意力网络Concat Attention，放缩标准注意力网络以缺陷的形状、大小为分类标准对含有不同缺陷的图像区块分配权重，拼接注意力网络以裂纹缺陷的特征为分类标准对含有裂纹缺陷的图像区块和不含有裂纹缺陷的图像区块分配权重，放缩标准注意力网络起到辅助拼接注意力网络的作用；
z″1＝SGA(IN(z′1))+CA(IN(z′1))+z′1
其中，Z″1是Z′1经过放缩标准注意力网络和拼接注意力网络处理的图像矩阵，IN是实例标准化操作，SGA是放缩标准注意力网络，CA是拼接注意力网络；
放缩标准注意力网络数学模型：
其中，Q为查询，K与V为键值对，W为系数矩阵，通过训练得到。dk为放缩系数，目的是使乘积不至于太大。乘积/>目的是给K分配权重，目的是对权重进行归一化处理，最终乘以V得到权重值。在本实例中，Q为标准图像，K为待分类的图像区块，K与V成线性关系，有K＝V。
拼接注意力网络数学模型：
其中，Q为查询，K与V为键值对，W为系数矩阵，通过训练得到。W[Q；Ki；Vi]为拼接矩阵，目的是为K分配权重。目的是对权重进行归一化处理，最终乘以V得到权重值。在本实例中，Q为标准图像，K为待分类的图像区块，K与V成线性关系，有K＝V。
步骤8.5：数据进行批量标准化Batch Normalization，传入到多层感知机网络Multi-Layer Perceptron，多层感知机网络根据注意力网络分配的权重进行具体的分类操作；
z1＝MLP(IN(z″1))+z″1
其中，Z1是Z″1经过多层感知机处理后经过分类的图像矩阵，MLP多层感知机网络；
步骤8.6：各网络通过残差网络进行连接，提高图像识别的准确率。
步骤9：输出缺陷的分类结果，便于进一步对缺陷的分析和处理。
Claims (5)
1.一种基于transformer的热成像检测管道内部缺陷的方法，其特征在于，包括如下步骤：
步骤1：热像仪采集管道内部的原始图像，读取原始图像各像素的灰度值，记为ki，ki∈(0,255)，统计各灰度值出现的次数P(ki)，得到原始图像的灰度直方图T1；
步骤2：计算原始图像的平均灰度值最大灰度值Gmax和最小灰度值Gmin，对灰度值进行归一化处理；
步骤3：对归一化处理后的图像进行gamma变换，gamma变换公式f′(x,y)＝Q·f(x,y)γ；
其中，Q为常数，x和y分别为归一化处理后图像某一像素的横纵坐标，f(x,y)为相应像素的灰度值，f′(x,y)为gamma变换后相应像素的灰度值，γ为gamma值，γ取值不同，图像的变换效果也不同；
步骤4：为了保证热成像采集到的图像易于分辨且不至于丢失过多信息，通过图像对比度和图像的二元熵量化图像处理效果；
步骤5：对归一化gamma变换后的图像进行归一化反变换处理得到图像I，归一化反变换公式
步骤6：将图像I的大小用图像分辨率描述，即I∈RH×W，并将图像I分划为N个分辨率为P×P的图像区块，即P×P大小的灰度矩阵，即Ip∈RN×P×P，N个P×P的矩阵构成NP×P大小的分块矩阵，即N个图像区块构成完整的原始图像I；其中，R为自然数，H为图像I的水平像素数，W为图像I的垂直像素数，P为图像I分划后图像区块的水平和垂直像素数，Ip为分辨率为P×P的图像区块；
步骤7：构建transformer图像处理网络，将图像I进行线性变换得到一系列图像区块，用图像矩阵z0统一表示；
步骤8：构建分类编码机制，输入步骤7线性变换后的图像矩阵z0得到经过缺陷特征分类后的一系列图像区块z1；
步骤8.1：将z0进行批量标准化Batch Normalization，批量标准化公式如下：
其中，μ是平移参数，σ是缩放参数，b是再平移参数，g是再缩放参数；
步骤8.2：数据标准化后，传入到多头自注意力网络Multi-head Self-Attention，对图像区块进行初步权重分配，将没有缺陷的图像区块进行剔除；
z′1＝MSA(BN(z0))+z0
其中，Z′1是Z0经过多头自注意力网络处理的图像矩阵，BN是批量标准化操作，MSA是多头自注意力网络；
步骤8.3：数据进行实例标准化instance normalization，实例标准化公式如下：
其中，xipq是图像区块i在坐标(p,q)像素处灰度值，H是图像的水平像素数，W是图像的垂直像素数，μi是图像区块i的像素平均值，是图像区块i的像素方差，ε是常数，ximn是图像区块i在坐标(m,n)像素处灰度值，himn是图像区块i经过实例标准化后在(m,n)像素处灰度值；
步骤8.4：将标准化后的图像数据传入到放缩标准注意力网络Scaled GeneralAttention和拼接注意力网络Concat Attention，放缩标准注意力网络以缺陷的形状、大小为分类标准对含有不同缺陷的图像区块分配权重，拼接注意力网络以裂纹缺陷的特征为分类标准对含有裂纹缺陷的图像区块和不含有裂纹缺陷的图像区块分配权重，放缩标准注意力网络起到辅助拼接注意力网络的作用；
z″1＝SGA(IN(z′1))+CA(IN(z′1))+z′1
其中，Z″1是Z′1经过放缩标准注意力网络和拼接注意力网络处理的图像矩阵，IN是实例标准化操作，SGA是放缩标准注意力网络，CA是拼接注意力网络；
所述放缩标准注意力网络的数学模型：
其中，Q为查询，K与V为键值对，W为系数矩阵，通过训练得到；dk为放缩系数，目的是使乘积不至于太大；乘积/>目的是给K分配权重，/>目的是对权重进行归一化处理，最终乘以V得到权重值；
所述拼接注意力网络的数学模型：
其中，Q为查询，K与V为键值对，W为系数矩阵，通过训练得到；W[Q；Ki；Vi]为拼接矩阵，目的是为K分配权重；目的是对权重进行归一化处理，最终乘以V得到权重值；
步骤8.5：数据进行批量标准化Batch Normalization，传入到多层感知机网络Multi-Layer Perceptron，多层感知机网络根据注意力网络分配的权重进行具体的分类操作；
z1＝MLP(IN(z1″))+z1″
其中，Z1是Z1″经过多层感知机处理后经过分类的图像矩阵，MLP是多层感知机网络；
步骤8.6：各网络通过残差网络进行连接，提高图像识别的准确率；
步骤9：输出缺陷的分类结果，便于进一步对缺陷的分析和处理。
2.根据权利要求1所述的基于transformer的热成像检测管道内部缺陷的方法，其特征在于，所述归一化处理采用的公式如下：
归一化处理的公式考虑到原始图像的灰度值偏小的问题，使归一化后的灰度值相对于一般归一化处理偏大，便于对图像进行gamma变换。
3.根据权利要求1所述的基于transformer的热成像检测管道内部缺陷的方法，其特征在于，所述gamma变换时进一步确定γ值的取值范围：
当且/>图像灰度值整体偏小，即图像偏暗，γ值取值范围为(1,m)；
当或/>且/>图像灰度值整体偏大，即图像偏亮，γ值取值范围为(0,1)；
其余情况认为图像整体灰度值适中，γ值取1；
其中，Rmedian为图像灰度值的中位数，Rmode为图像灰度值的众数，R′mode为图像灰度值的次众数，为图像灰度值的平均数。
4.根据权利要求1所述的基于transformer的热成像检测管道内部缺陷的方法，其特征在于，所述步骤4的过程如下：
步骤4.1：在给定γ值范围内得到随机数γ1，即γ＝γ1；计算此时图像对比度C1，令C＝C1，并计算图像的二元熵H1,令H＝H1；
其中，C和H分别为当前最优的对比度和二元熵；
步骤4.2：更新γ值为γ2，计算γ取值为γ2时图像对比度C′1和图像二元熵H′1；
步骤4.3：计算图像对比值若K>1,则γ＝γ2，C＝C′1，H＝H′1；若K<1，则γ＝γ1,其中p为对比度和二元熵之间的比例系数；
步骤4.4：循环执行步骤4.2和步骤4.3，得到最优的γ值，记为γbest。
5.根据权利要求1所述的基于transformer的热成像检测管道内部缺陷的方法，其特征在于，所述将图像I进行线性变换的过程如下：
将每个图像区块，即每个P2维向量进行线性变换，有其中P2维向量与P2维向量转置相乘，便于对图像缺陷特征的提取，Aleft为D×P大小的常数矩阵，Aright为P×D大小的常数矩阵；经过线性变换后，每个P2维向量转化成固定大小的D维向量，N个D维向量构成N×D大小的二维矩阵，即输入图像转化为：
Aleft∈RD×P,Aright∈RP×D，Apos∈R(N+1)·D×D
其中，z0为由一系列线性变换后图像区块组成的图像矩阵，Xclass为分类标志位，Apos为图像区块的位置编码，便于后面对图像区块的分类操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110316998.6A CN113034469B (zh) | 2021-03-24 | 2021-03-24 | 基于transformer的热成像检测管道内部缺陷的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110316998.6A CN113034469B (zh) | 2021-03-24 | 2021-03-24 | 基于transformer的热成像检测管道内部缺陷的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113034469A CN113034469A (zh) | 2021-06-25 |
| CN113034469B true CN113034469B (zh) | 2023-10-24 |
Family
ID=76473524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110316998.6A Active CN113034469B (zh) | 2021-03-24 | 2021-03-24 | 基于transformer的热成像检测管道内部缺陷的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034469B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610754B (zh) * | 2021-06-28 | 2024-05-07 | 浙江文谷科技有限公司 | 一种基于Transformer的缺陷检测方法及系统 |
| CN116258716B (zh) * | 2023-05-15 | 2023-07-18 | 青岛宇通管业有限公司 | 基于图像处理的塑料管材质量检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103187915A (zh) * | 2012-11-07 | 2013-07-03 | 东北大学 | 基于组态的励磁发电储能控制装置及方法 |
| CN111126282A (zh) * | 2019-12-25 | 2020-05-08 | 中国矿业大学 | 一种基于变分自注意力强化学习的遥感图像内容描述方法 |
| CN111598843A (zh) * | 2020-04-24 | 2020-08-28 | 国电南瑞科技股份有限公司 | 基于深度学习的电力变压器呼吸器目标缺陷检测方法 |
| CN111858323A (zh) * | 2020-07-11 | 2020-10-30 | 南京工业大学 | 一种基于代码表示学习的即时软件缺陷预测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103884431B (zh) * | 2013-12-31 | 2015-09-09 | 华中科技大学 | 平面地表环境中地下建筑的红外成像探测定位方法 |
-
2021
- 2021-03-24 CN CN202110316998.6A patent/CN113034469B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103187915A (zh) * | 2012-11-07 | 2013-07-03 | 东北大学 | 基于组态的励磁发电储能控制装置及方法 |
| CN111126282A (zh) * | 2019-12-25 | 2020-05-08 | 中国矿业大学 | 一种基于变分自注意力强化学习的遥感图像内容描述方法 |
| CN111598843A (zh) * | 2020-04-24 | 2020-08-28 | 国电南瑞科技股份有限公司 | 基于深度学习的电力变压器呼吸器目标缺陷检测方法 |
| CN111858323A (zh) * | 2020-07-11 | 2020-10-30 | 南京工业大学 | 一种基于代码表示学习的即时软件缺陷预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113034469A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113034469B (zh) | 基于transformer的热成像检测管道内部缺陷的方法 | |
| O’Byrne et al. | Texture analysis based damage detection of ageing infrastructural elements | |
| CN111899224A (zh) | 基于深度学习注意力机制的核电管道缺陷检测系统 | |
| CN106709958A (zh) | 一种基于灰度梯度和颜色直方图的图像质量评价方法 | |
| CN111784633A (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN112070134A (zh) | 电力设备图像分类方法、装置、电力设备及存储介质 | |
| CN112508950A (zh) | 异常检测方法和装置 | |
| CN114022715A (zh) | 一种高压电缆终端铅封缺陷检测方法及装置 | |
| Tian et al. | Signal processing schemes for Eddy Current Testing of steam generator tubes of nuclear power plants | |
| US20050036693A1 (en) | System and method for measuring image quality using compressed image data | |
| CN112308426A (zh) | 食品重金属污染风险评估模型训练方法、评估方法及装置 | |
| CN114066819B (zh) | 基于卷积神经网络深度学习的环境腐蚀严酷度识别方法 | |
| Bush et al. | Deep Neural Networks for visual bridge inspections and defect visualisation in Civil Engineering | |
| CN111242909A (zh) | 一种基于卷积神经网络的建筑弃土粒度分布快速识别方法 | |
| CN111238927A (zh) | 疲劳耐久性评测方法、装置、电子设备和计算机可读介质 | |
| Wu et al. | Atmospheric corrosion state evaluation based on surface corrosion morphology for electrical metal frame equipment in chongqing power grid | |
| CN111353976B (zh) | 一种基于卷积神经网络的沙粒目标检测方法 | |
| CN111241614A (zh) | 基于条件生成对抗网络模型的工程结构荷载反演方法 | |
| CN109934797B (zh) | 一种卫星立体图像质量评价方法 | |
| CN111681202B (zh) | 一种早龄期混凝土结构表面开裂情况的评估方法 | |
| CN113325011B (zh) | 一种基于深度学习的混凝土结构损伤检测方法 | |
| CN114926692B (zh) | 管道斜接角度检测方法及装置 | |
| CN116452550A (zh) | 基于噪声抑制的光伏电池缺陷检测方法 | |
| Meng-Xiang et al. | Corrosion Area Identification of Sheet Metal Based on K-means++ Clustering Algorithm and SSIM Index | |
| Asselin et al. | Replication Study and Benchmarking of Real-Time Object Detection Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |