CN116580328B - 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 - Google Patents
基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 Download PDFInfo
- Publication number
- CN116580328B CN116580328B CN202310849642.8A CN202310849642A CN116580328B CN 116580328 B CN116580328 B CN 116580328B CN 202310849642 A CN202310849642 A CN 202310849642A CN 116580328 B CN116580328 B CN 116580328B
- Authority
- CN
- China
- Prior art keywords
- feature map
- thermal infrared
- unet model
- loss function
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 61
- 238000011176 pooling Methods 0.000 claims description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 239000003795 chemical substances by application Substances 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 244000025254 Cannabis sativa Species 0.000 claims description 4
- 108010008885 Cellulose 1,4-beta-Cellobiosidase Proteins 0.000 claims description 4
- 101150084500 cel2 gene Proteins 0.000 claims description 4
- 101150026317 cel3 gene Proteins 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000002421 cell wall Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000008279 sol Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本发明公开了基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，包括改进和训练UNet模型、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程。改进和训练UNet模型具有以下内容：数据采集,制作样本，生成样本和划分数据集，改进UNet模型，训练改进的UNet模型，利用改进和训练UNet模型的堤坝渗漏险情检测，堤坝渗漏险情的确定,堤坝渗漏险情检测。本发明的有益效果是：本发明将堤坝渗漏险情与背景分离的二分类问题转换成多分类问题，通过对这些易干扰堤坝渗漏险情的检测的地物进行识别，有利于提升堤坝渗漏险情的检测精度；针对堤坝渗漏险情小目标检测问题对Unet模型进行了改进，提升的检测的精度和速度。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法。
背景技术
已建堤坝存在堤段沉陷、渗水、裂缝或建筑物本身不同程度损坏等问题，在汛期设计洪水标准内仍会发生不同程度险情，其中渗漏是最为常见的一种堤坝险情。如何对渗漏险情进行检测，实现堤坝常见险情快速发现、精准定位，提升巡堤效率，减少人员投入和危险暴露率，在洪水防御中具有重要作用和现实意义。
堤坝渗漏检测问题是一种利用图像进行目标检测问题。目前，已有较多的基于深度学习的目标检测方法被提出，并且在众多领域中取得令人瞩目的成绩。但是由于渗漏的形状与地形有关，所以渗漏没有固定的形状。而在目标检测模型中，目标的形状对模型而言是一种重要信息。
UNet模型是一个基于卷积神经网络的图像分割网络，主要用于医学图像分割上，该模型最初提出时是用于细胞壁的分割，之后在眼底视网膜上的血管提取等方面都有着出色的表现。但UNet模型结构相对简单，在跳跃连接的过程中，不同重要程度的信息分配的计算资源是相同的，导致在特征提取的时候没有侧重点，并且传播的过程中没有考虑到可能会出现的网络退化的问题，存在优化的空间。
为了提升堤坝渗漏检测精度，本发明建立基于多任务辅助的UNet模型的热红外图像堤坝渗漏险情检测方法，该方法首先对UNet模型结构进行改进，其次建立多任务辅助损失函数以提升堤坝渗漏检测精度。本发明可用于基于无人机热红外图像的堤坝渗漏险情检测，具有检测速度快，成本低的优势。目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，可用于堤坝的巡查。
为实现上述目的，本发明采用了下述技术方案：基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，包括改进和训练UNet模型（卷积神经网络模型）、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程。
进一步的，改进和训练UNet模型，具体步骤如下：
步骤S1，数据采集：利用无人机获取堤坝的热红外图像数据和可见光图像数据；
步骤S2，制作样本：手工选取热红外图像数据和可见光图像数据的一些区域，利用数据标注工具对手工选取的一些区域的数据进行标注，包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物；
步骤S3，生成样本和划分数据集：对手工选取的一些区域的数据进行扩增，并建立训练集、验证集和测试集；
步骤S4，改进UNet模型：在UNet模型上增加注意力门、空间注意力模块和残差模块，同时在UNet模型上引入小目标检测任务、RGB图像识别任务、多尺度检测任务三个辅助任务，构建三个辅助任务相应的三个损失函数；
步骤S5，训练改进的UNet模型：采用损失函数通过自适应运动估计优化算法Adam对改进的UNet模型不断优化，使损失函数误差不断减小，直到改进的UNet模型收敛，损失函数包括Dice Loss损失函数和通过三个辅助任务构建相应的三个损失函数。
进一步的，利用改进和训练UNet模型的堤坝渗漏险情检测，具体步骤如下：
步骤S6，堤坝渗漏险情的确定：通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像；
步骤S7，堤坝渗漏险情检测：将无人机获取堤坝的热红外图像和可见光图像输入到步骤S5训练好的Unet模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；再利用加权非极大抑制剔除重叠预测框，得到最终检测结果。
进一步的，步骤S1中数据采集是采集热红外图像数据和可见光图像数据相同区域作为训练样本，相同区域包括小的水体、灌木丛、草丛、阴影和正常堤体。
进一步的，步骤S2中制作样本，具体过程为：
步骤S21，从数据采集到的热红外图像数据中选取包含渗漏相似的区域（如水体和植被）进行标注，选择的区域像素大小为320*320；
步骤S22，利用数据标注工具（如labelme等）标出所有疑似区域，使用矩形框进行标注，获得一组与热红外图像对应的标注集；
步骤S23，最后选取一些没有险情的常见的堤坝热红外图像作为负样本。
进一步的，步骤S2中易干扰堤坝渗漏险情的检测的地物包括小的水体、灌木丛、草丛、阴影这4个类别。
进一步的，步骤S3中生成样本和划分数据集，具体过程为：采用随机比例尺缩放、翻转、裁剪、模糊和改变对比度、亮度、随机排布扩增样本；所有的样本统一缩放为320*320像素；将生成的样本和采集到的训练样本按照6:2:2随机划分为训练集、验证集、测试集；使用聚类分析算法（K-means）对训练集中标注的候选框进行聚类以优化预测框的大小。
进一步的，步骤S4中改进UNet模型，由基础Unet模型、空间注意力模块、残差模块及三个辅助任务损失函数组成；具体如下：
首先，尺寸为320*320输入图像经过第一个残差模块，得到尺寸为320*320*64的特征图A；
接着，特征图A经过2*2最大池化的输出经过第二个残差模块，得到尺寸为160*160*128的特征图B；
接着，特征图B经过2*2最大池化的输出经过第三个残差模块，得到尺寸为80*80*256的特征图C；
接着，特征图C经过2*2最大池化的输出经过第四个残差模块，得到尺寸为40*40*516的特征图D；
接着，特征图D经过一次2*2上采样的输出与特征图C跨接在一起，并经过第五个残差模块，得到尺寸为80*80*256的特征图E；
接着，特征图E通过1*1的卷积得到识别结果3；
接着，接着，特征图E经过一次2*2上采样的输出与特征图B跨接在一起，并经过第六个残差模块，得到尺寸为160*160*128的特征图F；
接着，特征图F通过1*1的卷积得到识别结果2；
接着，特征图F经过一次2*2上采样的输出G与特征图A跨接在一起，并经过AG注意力门和SAM空间注意力模块得到320*320*64的特征图H；
接着，特征图H并经过第七个残差模块，得到尺寸为320*320*64的特征图I；
接着，特征图I通过1*1的卷积得到识别结果1；
接着，根据识别结果1利用公式（1）计算RGB直方图损失函数RGBL：
（1）；
其中， 分别是欧式距离，/>分别是预测值区域的三个通道的灰度值分布直方图，/>分别是实际值检测为水体的区域对应的RGB颜色直方图；通过计算检测区域与水体模板；
接着，利用识别结果1根据对应矩形框做出获取预测值后根据外接矩形坐标将预测图像与真实图像进行裁剪，将裁剪的图像分别通过公式（2）的交叉熵损失函数计算小目标检测损失，并调整权重为面积的反比；
（2）；
其中，是小目标检测损失，coe为固定系数，用于控制小目标检测损失/>的数量级，CEL为交叉熵损失函数，/>为真实值第i个矩形框内的特征值，/>为第i个矩形框内预测值相同位置的特征值，/>为第i个矩形框内的面积；小目标的面积越小，则占/>的比重越高；
接着，利用识别结果1根据交叉熵损失函数计算尺度1损失CEL1；
接着，利用识别结果2根据交叉熵损失函数计算尺度2损失CEL2；
接着，利用识别结果3根据交叉熵损失函数计算尺度3损失CEL3；通过3个尺度的结果构建多尺度损失；
接着，通过公式（3）计算总的损失函数
（3）；
其中，为总的损失函数，/>，并且；/>为各损失函数调节系数，是一个可学习参数，通过模型训练自动获取；
接着，利用总的损失函数和自适应运动估计优化算法Adam对UNet模型进行优化，通过不断循环迭代，直到模型趋于稳定，完成模型的训练。
本发明的有益效果：
（1）本发明利用增加注意力门和空间注意力模块和结合残差块结构对基础UNet模型进行了改进，通过空间注意力机制自适应分配不同位置下特征权重的能力，分割模型能够在训练过程中将更多的计算资源分配在对任务效果更有意义的特征上和通过引入残差模块通过恒等映射有效解决网络退化的问题；
（2）引入RGB图像识别任务，利用RGB图像中的额外信息优化阴影检测问题；通过小目标识别任务优化小目标的漏检测问题；通过多尺度检测任务对上采样的过程进行监督，提升中间层学习特征的能力，缓解训练过程中潜在的梯度消失问题；
（3）本发明将堤坝渗漏险情与背景分离的二分类问题转换成多分类问题，通过对这些易干扰堤坝渗漏险情的检测的地物进行识别，有利于提升堤坝渗漏险情的检测精度；
（4）本发明针对堤坝渗漏险情小目标检测问题对Unet模型进行了改进，提升的检测的精度和速度。
附图说明
图1为本发明改进后的Unet模型的网络结构图。
具体实施方式
为了使本领域的技术人员更好的理解本申请方案，下面对本申请实施例中的技术方案进行清晰，完整，详细的描述，且所描述的实施例部分为本申请的一部分实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范畴。
本发明采用了下述技术方案：基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，包括改进和训练UNet模型（卷积神经网络模型）、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程。
进一步的，改进和训练UNet模型，具体步骤如下：
步骤S1，数据采集：利用无人机获取堤坝的热红外图像数据和可见光图像数据；
步骤S2，制作样本：手工选取热红外图像数据和可见光图像数据的一些区域，利用数据标注工具对手工选取的一些区域的数据进行标注，包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物；
步骤S3，生成样本和划分数据集：对手工选取的一些区域的数据进行扩增，并建立训练集、验证集和测试集；
步骤S4，改进UNet模型：在UNet模型上增加注意力门、空间注意力模块和残差模块，同时在UNet模型上引入小目标检测任务、RGB图像识别任务、多尺度检测任务三个辅助任务，构建三个辅助任务相应的三个损失函数；
步骤S5，训练改进的UNet模型：采用损失函数通过自适应运动估计优化算法Adam对改进的UNet模型不断优化，使损失函数误差不断减小，直到改进的UNet模型收敛，损失函数包括Dice Loss损失函数和通过三个辅助任务构建相应的三个损失函数。
进一步的，利用改进和训练UNet模型的堤坝渗漏险情检测，具体步骤如下：
步骤S6，堤坝渗漏险情的确定：通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像；
步骤S7，堤坝渗漏险情检测：将无人机获取堤坝的热红外图像和可见光图像输入到步骤S5训练好的Unet模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；再利用加权非极大抑制剔除重叠预测框，得到最终检测结果。
本发明的改进UNet模型：对原始Unet模型的进行具体优化为：
（1）基于基础UNet模型基础上增加 AG注意力门和SAM(Spatial AttentionModule)空间注意力模块和结合残差块结构，提出一种改进的UNet模型用于完成热红外遥感图像的渗漏险情检测任务；
（2）引入小目标检测任务、RGB图像识别任务、深度监督任务三个辅助任务，并通过构建三个辅助任务相应的损失函数以提升检测精度；
（3）原始UNet具有4次下采样和上采样过程，为了提升小目标检测能力，本发明删除了一次下采样以及一次上采样的过程，故编码部分共有3次下采样的过程。本发明的改进后的Unet模型如图1所示，其中，RGBL为RGB直方图损失函数；SOL为小目标损失函数；CEL1为尺度1交叉损失函数；CEL2为尺度2交叉损失函数；CEL3为尺度3交叉损失函数；Relu为Relu函数。改进Unet模型由一般Unet模型、空间注意力模块、残差模块及三个辅助任务损失函数组成。具体如下：
首先，尺寸为320*320输入图像经过第一个残差模块，得到尺寸为320*320*64的特征图A；
接着，特征图A经过2*2最大池化的输出经过第二个残差模块，得到尺寸为160*160*128的特征图B；
接着，特征图B经过2*2最大池化的输出经过第三个残差模块，得到尺寸为80*80*256的特征图C；
接着，特征图C经过2*2最大池化的输出经过第四个残差模块，得到尺寸为40*40*516的特征图D；
接着，特征图D经过一次2*2上采样的输出与特征图C跨接在一起，并经过第五个残差模块，得到尺寸为80*80*256的特征图E；
接着，特征图E通过1*1的卷积得到识别结果3；
接着，特征图E经过一次2*2上采样的输出与特征图B跨接在一起，并经过第六个残差模块，得到尺寸为160*160*128的特征图F；
接着，特征图F通过1*1的卷积得到识别结果2；
接着，特征图F经过一次2*2上采样的输出G与特征图A跨接在一起，并经过AG注意力门和SAM空间注意力模块得到320*320*64的特征图H；
接着，特征图H并经过第七个残差模块，得到尺寸为320*320*64的特征图I；
接着，特征图I通过1*1的卷积得到识别结果1；
接着，根据识别结果1利用公式（1）计算RGB直方图损失函数RGBL：
（1）；
其中， 分别是欧式距离，/>分别是预测值区域的三个通道的灰度值分布直方图，/>分别是实际值检测为水体的区域对应的RGB颜色直方图；通过计算检测区域与水体模板；
接着，利用识别结果1根据对应矩形框做出获取预测值后根据外接矩形坐标将预测图像与真实图像进行裁剪，将裁剪的图像分别通过公式（2）的交叉熵损失函数计算小目标检测损失，并调整权重为面积的反比；
（2）；
其中，是小目标检测损失，coe为固定系数，用于控制小目标检测损失/>的数量级，CEL为交叉熵损失函数，/>为真实值第i个矩形框内的特征值，/>为第i个矩形框内预测值相同位置的特征值，/>为第i个矩形框内的面积；小目标的面积越小，则占/>的比重越高；
接着，利用识别结果1根据交叉熵损失函数计算尺度1损失CEL1；
接着，利用识别结果2根据交叉熵损失函数计算尺度2损失CEL2；
接着，利用识别结果3根据交叉熵损失函数计算尺度3损失CEL3；通过3个尺度的结果构建多尺度损失。
接着，通过公式（3）计算总的损失函数
（3）；
其中，为总的损失函数，/>，并且；/>为各损失函数调节系数，是一个可学习参数，通过模型训练自动获取；
接着，利用总的损失函数和自适应运动估计优化算法Adam对UNet模型进行优化，
通过不断循环迭代，直到模型趋于稳定，完成模型的训练。
在本实施例中，残差模块、AG注意力门模块和SAM空间注意力模块，见图1所示，所述残差模块分两部分组成，一部分为与Unet模型相同的两个卷积层组成，通过两次3×3的卷积与线性整流函数ReLU激活后得到分辨率W×H通道数为C`的特征矩阵。另一部分为1×1的卷积，调整卷积核的个数为与第一部分第二次卷积相同的通道数C`，得到与第一部分分辨率以及维度都相等的输出值，将两个部分的值进行求和得到残差模块的输出值。
在SAM空间注意力模块中，输入特征分别做通道维度的平均值池化以及最大值池化，再将二者进行通道维度的拼接得到通道数为2的特征图，对特征图进行卷积操作，得到通道数为1的特征图，即权重矩阵，将该权重矩阵通过神经网络的激活函数（Sigmoid函数）激活后与输入特征相乘即可得到采用空间注意力机制的输出特征。
在AG注意力门模块中，首先将下采样的特征图与上采样的特征图分别进行卷积操作得到分辨率相同但通道数为2/1的特征，接着将两组维度分辨率完全相同的特征进行相加得到新的特征图，然后将新的特征图通过卷积以及神经网络的激活函数（Sigmoid函数）激活后得到通道为1的分辨率权重，最后将分辨率权重与下采样的特征图相乘，得到最后的输出的特征图。
在本实施例中，通过计算机编程语言（Python）和开源深度学习框架（Pytorch深度学习框架）实现改进的Unet模型。采用COCO数据集对改进Unet模型进行预训练，然后再利用步骤S3中建立的训练集、验证集、测试集微调改进Unet模型并测试的网络的检测效果。
Claims (6)
1.基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：包括改进和训练UNet模型、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程；
改进和训练UNet模型，具体步骤如下：
步骤S1，数据采集：利用无人机获取堤坝的热红外图像数据和可见光图像数据；
步骤S2，制作样本：手工选取热红外图像数据和可见光图像数据的一些区域，利用数据标注工具对手工选取的一些区域的数据进行标注，包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物；
步骤S3，生成样本和划分数据集：对手工选取的一些区域的数据进行扩增，并建立训练集、验证集和测试集；
步骤S4，改进UNet模型：在UNet模型上增加注意力门、空间注意力模块和残差模块，同时在UNet模型上引入小目标检测任务、RGB图像识别任务、多尺度检测任务三个辅助任务，构建三个辅助任务相应的三个损失函数；
步骤S5，训练改进的UNet模型：采用损失函数通过自适应运动估计优化算法Adam对改进的UNet模型不断优化，使损失函数误差不断减小，直到改进的UNet模型收敛，损失函数包括Dice Loss损失函数和通过三个辅助任务构建相应的三个损失函数；
步骤S4中改进UNet模型，由基础Unet模型、空间注意力模块、残差模块及三个辅助任务损失函数组成；具体如下：
首先，尺寸为320*320输入图像经过第一个残差模块，得到尺寸为320*320*64的特征图A；
接着，特征图A经过2*2最大池化的输出经过第二个残差模块，得到尺寸为160*160*128的特征图B；
接着，特征图B经过2*2最大池化的输出经过第三个残差模块，得到尺寸为80*80*256的特征图C；
接着，特征图C经过2*2最大池化的输出经过第四个残差模块，得到尺寸为40*40*516的特征图D；
接着，特征图D经过一次2*2上采样的输出与特征图C跨接在一起，并经过第五个残差模块，得到尺寸为80*80*256的特征图E；
接着，特征图E通过1*1的卷积得到识别结果3；
接着，特征图E经过一次2*2上采样的输出与特征图B跨接在一起，并经过第六个残差模块，得到尺寸为160*160*128的特征图F；
接着，特征图F通过1*1的卷积得到识别结果2；
接着，特征图F经过一次2*2上采样的输出G与特征图A跨接在一起，并经过AG注意力门和SAM空间注意力模块得到320*320*64的特征图H；
接着，特征图H并经过第七个残差模块，得到尺寸为320*320*64的特征图I；
接着，特征图I通过1*1的卷积得到识别结果1；
根据识别结果1利用公式（1）计算RGB直方图损失函数RGBL：
（1）；
其中，分别是欧式距离，/>分别是预测值区域的三个通道的灰度值分布直方图，/>分别是实际值检测为水体的区域对应的RGB颜色直方图；通过计算检测区域与水体模板；
利用识别结果1根据对应矩形框做出获取预测值后根据外接矩形坐标将预测图像与真实图像进行裁剪，将裁剪的图像分别通过公式（2）的交叉熵损失函数计算小目标检测损失，并调整权重为面积的反比；
（2）；
其中，是小目标检测损失，coe为固定系数，用于控制小目标检测损失/>的数量级，CEL为交叉熵损失函数，/>为真实值第i个矩形框内的特征值，/>为第i个矩形框内预测值相同位置的特征值，/>为第i个矩形框内的面积；小目标的面积越小，则占/>的比重越高；
接着，利用识别结果1根据交叉熵损失函数计算尺度1损失CEL1；
接着，利用识别结果2根据交叉熵损失函数计算尺度2损失CEL2；
接着，利用识别结果3根据交叉熵损失函数计算尺度3损失CEL3；
通过3个尺度的结果构建多尺度损失；
接着，通过公式（3）计算总的损失函数
（3）；
其中，为总的损失函数，/>，并且/>；/>为各损失函数调节系数，是一个可学习参数，通过模型训练自动获取；
接着，利用总的损失函数和自适应运动估计优化算法Adam对UNet模型进行优化，通过不断循环迭代，直到模型趋于稳定，完成模型的训练。
2.根据权利要求1所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：利用改进和训练UNet模型的堤坝渗漏险情检测，具体步骤如下：
步骤S6，堤坝渗漏险情的确定：通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像；
步骤S7，堤坝渗漏险情检测：将无人机获取堤坝的热红外图像和可见光图像输入到步骤S5训练好的Unet模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；再利用加权非极大抑制剔除重叠预测框，得到最终检测结果。
3.根据权利要求2所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：
步骤S1中数据采集是采集热红外图像数据和可见光图像数据相同区域作为训练样本，相同区域包括小的水体、灌木丛、草丛、阴影和正常堤体。
4.根据权利要求3所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：步骤S2中制作样本，具体过程为：
步骤S21，从数据采集到的热红外图像数据中选取包含渗漏相似的区域进行标注，选择的区域像素大小为320*320；
步骤S22，利用数据标注工具标出所有疑似区域，使用矩形框进行标注，获得一组与热红外图像对应的标注集；
步骤S23，最后选取一些没有险情的常见的堤坝热红外图像作为负样本。
5.根据权利要求4所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：
步骤S2中易干扰堤坝渗漏险情的检测的地物包括小的水体、灌木丛、草丛、阴影这4个类别。
6.根据权利要求5所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：
步骤S3中生成样本和划分数据集，具体过程为：采用随机比例尺缩放、翻转、裁剪、模糊和改变对比度、亮度、随机排布扩增样本；所有的样本统一缩放为320*320像素；将生成的样本和采集到的训练样本按照6:2:2随机划分为训练集、验证集、测试集；使用聚类分析算法对训练集中标注的候选框进行聚类以优化预测框的大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310849642.8A CN116580328B (zh) | 2023-07-12 | 2023-07-12 | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310849642.8A CN116580328B (zh) | 2023-07-12 | 2023-07-12 | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116580328A CN116580328A (zh) | 2023-08-11 |
| CN116580328B true CN116580328B (zh) | 2023-09-19 |
Family
ID=87543479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310849642.8A Active CN116580328B (zh) | 2023-07-12 | 2023-07-12 | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116580328B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
| CN112232391A (zh) * | 2020-09-29 | 2021-01-15 | 河海大学 | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 |
| CN113139528A (zh) * | 2021-06-21 | 2021-07-20 | 江西省水利科学院 | 基于Faster_RCNN的无人机热红外图像堤坝险情检测方法 |
| CN113284107A (zh) * | 2021-05-25 | 2021-08-20 | 重庆邮电大学 | 一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法 |
| JP6980958B1 (ja) * | 2021-06-23 | 2021-12-15 | 中国科学院西北生態環境資源研究院 | 深層学習に基づく農村地域分けゴミ識別方法 |
| CN114187522A (zh) * | 2021-12-16 | 2022-03-15 | 河南大学 | 一种基于detr模型的黄河流域坝岸险情检测方法 |
| CN114241310A (zh) * | 2021-12-21 | 2022-03-25 | 江西省水利科学院 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
| CN116152674A (zh) * | 2021-11-20 | 2023-05-23 | 华能澜沧江水电股份有限公司 | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 |
| CN116363149A (zh) * | 2023-03-04 | 2023-06-30 | 福州大学 | 一种基于U-Net改进的医学图像分割方法 |
| CN116416432A (zh) * | 2023-04-12 | 2023-07-11 | 西南石油大学 | 一种基于改进UNet的管道焊缝图像分割方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11170504B2 (en) * | 2019-05-02 | 2021-11-09 | Keyamed Na, Inc. | Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network |
| EP4033403A1 (en) * | 2021-01-14 | 2022-07-27 | Tata Consultancy Services Limited | System and method for attention-based surface crack segmentation |
| US11580646B2 (en) * | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
| CN113052106B (zh) * | 2021-04-01 | 2022-11-04 | 重庆大学 | 一种基于PSPNet网络的飞机起降跑道识别方法 |
-
2023
- 2023-07-12 CN CN202310849642.8A patent/CN116580328B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
| CN112232391A (zh) * | 2020-09-29 | 2021-01-15 | 河海大学 | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 |
| CN113284107A (zh) * | 2021-05-25 | 2021-08-20 | 重庆邮电大学 | 一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法 |
| CN113139528A (zh) * | 2021-06-21 | 2021-07-20 | 江西省水利科学院 | 基于Faster_RCNN的无人机热红外图像堤坝险情检测方法 |
| JP6980958B1 (ja) * | 2021-06-23 | 2021-12-15 | 中国科学院西北生態環境資源研究院 | 深層学習に基づく農村地域分けゴミ識別方法 |
| CN116152674A (zh) * | 2021-11-20 | 2023-05-23 | 华能澜沧江水电股份有限公司 | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 |
| CN114187522A (zh) * | 2021-12-16 | 2022-03-15 | 河南大学 | 一种基于detr模型的黄河流域坝岸险情检测方法 |
| CN114241310A (zh) * | 2021-12-21 | 2022-03-25 | 江西省水利科学院 | 基于改进yolo模型的堤防管涌险情智能识别方法 |
| CN116363149A (zh) * | 2023-03-04 | 2023-06-30 | 福州大学 | 一种基于U-Net改进的医学图像分割方法 |
| CN116416432A (zh) * | 2023-04-12 | 2023-07-11 | 西南石油大学 | 一种基于改进UNet的管道焊缝图像分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| Content-Based Remote Sensing Image Retrieval Based on Fuzzy Rules and a Fuzzy Distance;Famao Ye 等;《IEEE Geoscience and Remote Sensing Letters ( Volume: 19)》;全文 * |
| 融合残差注意力机制的UNet视盘分割;侯向丹;赵一浩;刘洪普;郭鸿湧;于习欣;丁梦园;;中国图象图形学报(第09期);全文 * |
| 遥感影像地物分类多注意力融和U型网络法;李道纪;郭海涛;卢俊;赵传;林雨准;余东行;;测绘学报(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116580328A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN108564097B (zh) | 一种基于深度卷积神经网络的多尺度目标检测方法 | |
| CN110287849B (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
| CN108399362B (zh) | 一种快速行人检测方法及装置 | |
| CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
| WO2019101221A1 (zh) | 一种基于场景多维特征的船只检测方法及系统 | |
| CN111626128B (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
| CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络系统 | |
| CN111797712B (zh) | 基于多尺度特征融合网络的遥感影像云与云阴影检测方法 | |
| CN114612769B (zh) | 一种融入局部结构信息的集成感知红外成像舰船检测方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN110097047B (zh) | 一种基于深度学习采用单线激光雷达的车辆检测方法 | |
| CN113627472A (zh) | 基于分层深度学习模型的智慧园林食叶害虫识别方法 | |
| CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
| CN114529583B (zh) | 基于残差回归网络的电力设备跟踪方法及跟踪系统 | |
| CN111881915A (zh) | 一种基于多种先验信息约束的卫星视频目标智能检测方法 | |
| Zuo et al. | A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN116580328B (zh) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 | |
| CN112419335A (zh) | 一种细胞核分割网络的形状损失计算方法 | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
| CN115841557A (zh) | 基于数字孪生技术的智能起重机操作环境构建方法 | |
| CN115273131A (zh) | 基于双通路特征融合的动物识别方法 | |
| CN113947723A (zh) | 基于尺寸平衡fcos的高分辨率遥感场景目标检测方法 | |
| CN108776968B (zh) | 基于深度森林的sar图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |