CN115713653B - 塔桅结构破损位置图像识别方法 - Google Patents

Abstract

塔桅结构破损位置图像识别方法，本发明涉及塔桅结构破损位置图像识别方法。本发明的目的是为了解决现有塔桅结构破损采用人工检测，费时、费力，导致识别效率低、识别准确率低的问题。过程为：一、采用无人机获取塔桅结构图像，对获取的塔桅结构图像进行预处理得到预处理后的图像，作为训练样本数据集；二、构建塔桅结构破损位置图像识别网络；三、将获得的训练样本数据集输入构建的塔桅结构破损位置图像识别网络进行训练，以获得训练好的塔桅结构破损位置图像识别网络；四、将待识别的塔桅结构图像输入训练好的塔桅结构破损位置图像识别网络，输出对待识别的塔桅结构图像的识别结果。本发明用于塔桅结构破损位置识别领域。

Description

塔桅结构破损位置图像识别方法

技术领域

本发明涉及塔桅结构破损位置图像识别方法。

背景技术

塔桅(或塔桅结构)指高度较大、横断面相对较小的结构。根据其结构形式可分为自立式塔式结构和拉线式桅式结构，所以高耸结构也称塔桅结构。

塔桅结构在现代超高层建筑和风力发电机、起重机等机械设备中广泛存在，如高耸烟筒、风力发电机塔筒和塔吊塔身等。由于通常受风载荷和工作载荷的复杂作用，受到外界环境的腐蚀作用，以及受制造缺陷、安装误差和人为违规操作等多种不确定性因素的影响，塔桅结构容易出现疲劳断裂、腐蚀缺损及连接件失效等损伤。由于塔桅结构在设施或机械装备中通常作为主要承载结构，一旦损伤发展到一定程度，往往导致严重的生产事故或倒塌事故，造成重大人员和财产损失，因此实现对各类塔桅结构的准确可靠的健康监测尤为重要。

现有塔桅结构破损采用人工检测，费时、费力，导致识别效率低、识别准确率低。

发明内容

本发明的目的是为了解决现有塔桅结构破损采用人工检测，费时、费力，导致识别效率低、识别准确率低的问题，而提出塔桅结构破损位置图像识别方法。

塔桅结构破损位置图像识别方法方法具体过程为：

步骤一、采用无人机获取塔桅结构图像，对获取的塔桅结构图像进行预处理得到预处理后的图像，作为训练样本数据集；

步骤二、构建塔桅结构破损位置图像识别网络；

步骤三、将步骤一获得的训练样本数据集输入步骤二构建的塔桅结构破损位置图像识别网络进行训练，以获得训练好的塔桅结构破损位置图像识别网络；

步骤四、将待识别的塔桅结构图像输入训练好的塔桅结构破损位置图像识别网络，输出对待识别的塔桅结构图像的识别结果。

本发明的有益效果为：

本发明利用网络结构对塔桅结构破损进行检测，提高了识别效率以及准确率；解决了现有塔桅结构破损采用人工检测，费时、费力，导致识别效率低、识别准确率低的问题。

本发明采用膨胀卷积模块获取更具上下文信息的特征，在相同卷积感受野的情况下，与标准卷积相比，该模块所需要的训练参数更少。为了更好的提取重要的特征，且抑制无用的特征。

本发明提出了塔桅结构破损位置图像识别网络。具体地说，塔桅结构破损位置图像识别网络首先使用三维卷积和二维卷积提取塔桅结构图像的光谱和空间特征。

本发明将通道高斯调制注意力模块嵌入在三维卷积和二维卷积之间，强调三维卷积提取的次要特征；将所获取的低频信息和高频信息有效地融合。

本发明采用线性分类器来确定每个像素的标签。

本发明在生成器中利用最近邻上采样与亚像素卷积的有效组合，生成高质量的伪样本。由于生成器收敛速度慢，为了避免设置太多网络层而计算复杂度，本发明在判别器中引入膨胀卷积，高效融合了传统卷积与膨胀卷积，来实现更有效的特征提取。

本发明将传统卷积与膨胀卷积融合在鉴别器中，使其在不增加参数的情况下扩大了感受野，实现更有效地特征提取。

附图说明

图1为本发明流程图。

具体实施方式

具体实施方式一：本实施方式塔桅结构破损位置图像识别方法具体过程为：

步骤一、采用无人机获取塔桅结构图像，对获取的塔桅结构图像进行预处理得到预处理后的图像，作为训练样本数据集；

步骤二、构建塔桅结构破损位置图像识别网络；

步骤三、将步骤一获得的训练样本数据集输入步骤二构建的塔桅结构破损位置图像识别网络进行训练，以获得训练好的塔桅结构破损位置图像识别网络；

步骤四、将待识别的塔桅结构图像输入训练好的塔桅结构破损位置图像识别网络，输出对待识别的塔桅结构图像的识别结果。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中采用无人机获取塔桅结构图像，对获取的塔桅结构图像进行预处理得到预处理后的图像，作为训练样本数据集；具体过程为：

采用无人机获取塔桅结构图像，塔桅结构图像包括破损塔桅结构图像和非破损塔桅结构图像；

对破损塔桅结构图像和非破损塔桅结构图像进行标注；

对破损塔桅结构图像进行随机增强；具体方法包括：

第i个破损塔桅结构图像的形状表征为a*b，其中，a表示破损塔桅结构图像的宽，b表示破损塔桅结构图像的高，*表示乘号；

并在第i个破损塔桅结构图像上随机选取一个点Pi(xi,yi)，作为破损塔桅结构图像的中心；

破损塔桅结构图像的最小外接矩形半径Ri为：Ri＝max(a*b)/2；

对每个破损塔桅结构图像进行边缘平滑处理，获得边缘平滑处理后的图像；

根据Pi(xi,yi)和Ri确定破损塔桅结构图像的不同位置，将边缘平滑处理后的图像作为新的破损塔桅结构图像。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二中构建塔桅结构破损位置图像识别网络；具体过程为：

塔桅结构破损位置图像识别网络包括网络1、网络2和网络3；

网络1的输出输入网络2，网络2的输出输入网络3；

所述网络1为膨胀卷积模块；

所述膨胀卷积模块包括：第八膨胀卷积层、第八批归一化层BN、第八ReLU激活层、第九膨胀卷积层、第九批归一化层BN、第九ReLU激活层、第十膨胀卷积层、第十批归一化层BN、第十ReLU激活层；

所述网络2包括生成器和判别器；

所述生成器依次包括最近邻上采样层、第一二维卷积层、第一BN层、第一ELU激活层、第一亚像素卷积层、第二BN层、第二ELU激活层、第二亚像素卷积层、第三BN层、第三ELU激活层、第一自适应drop层、第二二维卷积层、tanh激活层；

所述判别器依次包括第三二维卷积层、第一LeakyReLU激活层、第四二维卷积层、第四BN层、第二LeakyReLU激活层、第五二维卷积层、第五BN层、第三LeakyReLU激活层、第三自适应drop层、全连接层、Softmax层。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述膨胀卷积模块的连接关系为：

第八膨胀卷积层连接第八批归一化层BN，第八批归一化层BN连接第八ReLU激活层，第八ReLU激活层连接第九膨胀卷积层，第九膨胀卷积层连接第九批归一化层BN，第九批归一化层BN连接第九ReLU激活层，第九ReLU激活层连接第十膨胀卷积层，第十膨胀卷积层连接第十批归一化层BN，第十批归一化层BN连接第十ReLU激活层，第十ReLU激活层输出结果。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述生成器的连接关系为：

将随机噪声和对应标签c输入生成器，生成器的输入随机噪声大小为100×1×1，随后将噪声依次通过最近邻上采样层、第一二维卷积层、第一BN层、第一ELU激活层，将输入噪声大小转换为512×4×4；

100×1×1分别为噪声的光谱通道、高度和宽度；

512×4×4分别为转换后的噪声的光谱通道、高度和宽度；

将大小转换为512×4×4的噪声依次输入第一亚像素卷积层、第二BN层、第二ELU激活层，得到的输出F_out；

将F_out依次输入第二亚像素卷积层、第三BN层、第三ELU激活层、第一自适应drop层、第二二维卷积层、tanh激活层，得到生成器G的输出；

生成器G输出为带有标签的假数据。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述判别器中第三二维卷积层为标准卷积，标准卷积的卷积核大小为[N,H,W]；

其中N表示卷积核数量，H表示标准卷积的卷积核的高，W表示标准卷积的卷积核的宽；

所述第四二维卷积层、第五二维卷积层皆为膨胀卷积，膨胀卷积的卷积核大小为表示为

其中，*为相乘操作，为膨胀卷积的卷积核的高，/>为膨胀卷积的卷积核的宽，r为膨胀率；

设输入特征图大小为[b′,C′,H′,W′]，依次经过标准卷积、膨胀卷积，膨胀卷积输出特征图的高和宽分别为

其中，b′表示输入特征图的批处理大小，C′表示输入特征图的通道数，H′为输入特征图的高，W′为输入特征图的宽，OH为输出特征图的高，OW为输出特征图的宽，S为步幅，p为填充，r为膨胀率。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述网络3依次包括第六三维卷积模块、第七三维卷积模块、基于通道高斯调制注意力模块、第八二维卷积模块、第一线性层；

所述基于通道高斯调制注意力模块依次包括平均池化层、第三线性层、第一ReLU激活函数层、第四线性层、高斯调制函数层；

所述第六三维卷积模块依次包括第六三维卷积层、第六BN层、第六ReLU激活函数层；

所述第七三维卷积模块依次包括第七三维卷积层、第七BN层、第七ReLU激活函数层；

所述第八二维卷积模块依次包括第八二维卷积层、第八BN层、第八ReLU激活函数层；

所述网络3的连接关系为：

输入端连接第六三维卷积模块，第六三维卷积模块连接第七三维卷积模块，第七三维卷积模块连接基于通道高斯调制注意力模块，基于通道高斯调制注意力模块连接第八二维卷积模块，第八二维卷积模块连接第一线性层输出分类结果。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤三中将步骤一获得的训练样本数据集输入步骤二构建的塔桅结构破损位置图像识别网络进行训练，以获得训练好的塔桅结构破损位置图像识别网络；

将步骤一获得的训练样本数据集输入步骤二构建的塔桅结构破损位置图像识别网络中的网络1，网络1的输出图像特征输入网络2，网络2的输出图像特征输入网络3，不断对步骤二构建的塔桅结构破损位置图像识别网络进行训练，直至收敛，获得训练好的塔桅结构破损位置图像识别网络。

其它步骤及参数与具体实施方式一至七之一相同。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.塔桅结构破损位置图像识别方法，其特征在于：所述方法具体过程为：

步骤一、采用无人机获取塔桅结构图像，对获取的塔桅结构图像进行预处理得到预处理后的图像，作为训练样本数据集；

步骤二、构建塔桅结构破损位置图像识别网络；

步骤三、将步骤一获得的训练样本数据集输入步骤二构建的塔桅结构破损位置图像识别网络进行训练，以获得训练好的塔桅结构破损位置图像识别网络；

步骤四、将待识别的塔桅结构图像输入训练好的塔桅结构破损位置图像识别网络，输出对待识别的塔桅结构图像的识别结果；

所述步骤二中构建塔桅结构破损位置图像识别网络；具体过程为：

塔桅结构破损位置图像识别网络包括网络1、网络2和网络3；

网络1的输出输入网络2，网络2的输出输入网络3；

所述网络1为膨胀卷积模块；

所述膨胀卷积模块包括：第八膨胀卷积层、第八批归一化层BN、第八ReLU激活层、第九膨胀卷积层、第九批归一化层BN、第九ReLU激活层、第十膨胀卷积层、第十批归一化层BN、第十ReLU激活层；

所述网络2包括生成器和判别器；

所述生成器依次包括最近邻上采样层、第一二维卷积层、第一BN层、第一ELU激活层、第一亚像素卷积层、第二BN层、第二ELU激活层、第二亚像素卷积层、第三BN层、第三ELU激活层、第一自适应drop层、第二二维卷积层、tanh激活层；

所述判别器依次包括第三二维卷积层、第一LeakyReLU激活层、第四二维卷积层、第四BN层、第二LeakyReLU激活层、第五二维卷积层、第五BN层、第三LeakyReLU激活层、第三自适应drop层、全连接层、Softmax层；

所述膨胀卷积模块的连接关系为：

第八膨胀卷积层连接第八批归一化层BN，第八批归一化层BN连接第八ReLU激活层，第八ReLU激活层连接第九膨胀卷积层，第九膨胀卷积层连接第九批归一化层BN，第九批归一化层BN连接第九ReLU激活层，第九ReLU激活层连接第十膨胀卷积层，第十膨胀卷积层连接第十批归一化层BN，第十批归一化层BN连接第十ReLU激活层，第十ReLU激活层输出结果；

所述生成器的连接关系为：

将随机噪声和对应标签c输入生成器，生成器的输入随机噪声大小为100×1×1，随后将噪声依次通过最近邻上采样层、第一二维卷积层、第一BN层、第一ELU激活层，将输入噪声大小转换为512×4×4；

100×1×1分别为噪声的光谱通道、高度和宽度；

512×4×4分别为转换后的噪声的光谱通道、高度和宽度；

将大小转换为512×4×4的噪声依次输入第一亚像素卷积层、第二BN层、第二ELU激活层，得到输出F_out；

将F_out依次输入第二亚像素卷积层、第三BN层、第三ELU激活层、第一自适应drop层、第二二维卷积层、tanh激活层，得到生成器的输出；

生成器输出为带有标签的假数据；

所述判别器中第三二维卷积层为标准卷积，标准卷积的卷积核大小为[N,H,W]；

其中N表示卷积核数量，H表示标准卷积的卷积核的高，W表示标准卷积的卷积核的宽；

所述第四二维卷积层、第五二维卷积层皆为膨胀卷积，膨胀卷积的卷积核大小为表示为

其中，*为相乘操作，为膨胀卷积的卷积核的高，/>为膨胀卷积的卷积核的宽，r为膨胀率；

设输入特征图大小为[b′,C′,H′,W′]，依次经过标准卷积、膨胀卷积，膨胀卷积输出特征图的高和宽分别为

其中，b′表示输入特征图的批处理大小，C′表示输入特征图的通道数，H′为输入特征图的高，W′为输入特征图的宽，OH为输出特征图的高，OW为输出特征图的宽，S为步幅，p为填充，r为膨胀率；

所述网络3依次包括第六三维卷积模块、第七三维卷积模块、基于通道高斯调制注意力模块、第八二维卷积模块、第一线性层；

所述基于通道高斯调制注意力模块依次包括平均池化层、第三线性层、第一ReLU激活函数层、第四线性层、高斯调制函数层；

所述第六三维卷积模块依次包括第六三维卷积层、第六BN层、第六ReLU激活函数层；

所述第七三维卷积模块依次包括第七三维卷积层、第七BN层、第七ReLU激活函数层；

所述第八二维卷积模块依次包括第八二维卷积层、第八BN层、第八ReLU激活函数层；

所述网络3的连接关系为：

输入端连接第六三维卷积模块，第六三维卷积模块连接第七三维卷积模块，第七三维卷积模块连接基于通道高斯调制注意力模块，基于通道高斯调制注意力模块连接第八二维卷积模块，第八二维卷积模块连接第一线性层输出分类结果。

2.根据权利要求1所述的塔桅结构破损位置图像识别方法，其特征在于：所述步骤一中采用无人机获取塔桅结构图像，对获取的塔桅结构图像进行预处理得到预处理后的图像，作为训练样本数据集；具体过程为：

采用无人机获取塔桅结构图像，塔桅结构图像包括破损塔桅结构图像和非破损塔桅结构图像；

对破损塔桅结构图像和非破损塔桅结构图像进行标注；

对破损塔桅结构图像进行随机增强；具体方法包括：

第i个破损塔桅结构图像的形状表征为a*b，其中，a表示破损塔桅结构图像的宽，b表示破损塔桅结构图像的高，*表示乘号；

并在第i个破损塔桅结构图像上随机选取一个点Pi(xi,yi)，作为破损塔桅结构图像的中心；

破损塔桅结构图像的最小外接矩形半径Ri为：Ri＝max(a*b)/2；

对每个破损塔桅结构图像进行边缘平滑处理，获得边缘平滑处理后的图像；

根据Pi(xi,yi)和Ri确定破损塔桅结构图像的不同位置，将边缘平滑处理后的图像作为新的破损塔桅结构图像。

3.根据权利要求2所述的塔桅结构破损位置图像识别方法，其特征在于：所述步骤三中将步骤一获得的训练样本数据集输入步骤二构建的塔桅结构破损位置图像识别网络进行训练，以获得训练好的塔桅结构破损位置图像识别网络；

将步骤一获得的训练样本数据集输入步骤二构建的塔桅结构破损位置图像识别网络中的网络1，网络1的输出图像特征输入网络2，网络2的输出图像特征输入网络3，不断对步骤二构建的塔桅结构破损位置图像识别网络进行训练，直至收敛，获得训练好的塔桅结构破损位置图像识别网络。