CN117132870B - 一种CenterNet与混合注意力相融合的机翼结冰检测方法 - Google Patents
一种CenterNet与混合注意力相融合的机翼结冰检测方法 Download PDFInfo
- Publication number
- CN117132870B CN117132870B CN202311385829.3A CN202311385829A CN117132870B CN 117132870 B CN117132870 B CN 117132870B CN 202311385829 A CN202311385829 A CN 202311385829A CN 117132870 B CN117132870 B CN 117132870B
- Authority
- CN
- China
- Prior art keywords
- wing
- icing
- centernet
- network
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 38
- 238000010586 diagram Methods 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 29
- 238000002474 experimental method Methods 0.000 abstract description 7
- 238000011161 development Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 230000002860 competitive effect Effects 0.000 abstract 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 239000000203 mixture Substances 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于目标检测技术领域，提供了一种CenterNet与混合注意力相融合的机翼结冰检测方法。本发明可用于结冰图像的识别，进而实现机翼结冰检测的任务。本发明旨在解决现有的机翼结冰检测方法要么依赖操作员经验，要么依赖复杂的工程实现和高昂的硬件开发成本等问题。为了解决实验数据中出现的特定结冰区域方向问题，我们设计了一种新颖的角度预测分支网络，以实现对旋转目标的精确校准。进一步的，我们将混合注意力（Convolutional Block Attention Module）融合到神经网络中，有效的增强了对冰形边界的特征提取能力。我们设计了RA‑CenterNet与其他主流旋转目标检测方法和基线网络的对比实验，结果表明，RA‑CenterNet算法与主流旋转目标检测算法相比具有综合竞争优势。
Description
技术领域
本发明属于目标检测技术领域，具体为一种CenterNet与混合注意力相融合的机翼结冰检测方法。本发明可用于结冰图像的识别，进而实现机翼结冰检测的任务。
背景技术
飞机在高空飞行时，其迎风面与空气中的水蒸气或者冷凝水接触的过程中会积冰，积冰分布在迎风的表面部分，主要是机翼迎风曲面，前挡风玻璃，还有发动机进气口以及尾翼等部分。由于积冰会对飞机的飞行造成严重的安全隐患，因此飞机结冰的检测是一项至关重要的安全措施。机翼为飞机提供60%至80%的升力，而机翼的结冰会直接导致其气动外形发生变化，从而使得升力减小、阻力增大。此外，机翼不同位置的结冰和结冰不均匀等情况会直接改变飞机重心的相对位置，进而影响飞机的操控稳定性，甚至导致相关结构被冰冻而失控。因此，对机翼的结冰检测研究尤为重要。
目前常用的结冰探测装置有目视结冰探测器和电子式结冰探测器。目视结冰探测器一般安装在风挡前以被飞行员观察，而对机翼的目视探测则是机组通过机翼探照灯对机翼照射，观察机翼结冰状况，这种方式对于监测者来说结冰状态并不直观，存在经验上的判断，缺乏依据。电子式结冰探测器多数为单点探测结构，在对区域结冰进行探测时采用安装多个结冰传感器的解决方案，加大了飞机构型设计和结冰探测装置的安装难度。随着人们对飞机结冰探测要求的进一步提升，单点结冰探测传感器很难满足要求。阵列式传感器能够实现一定区域的信号采集，并对整体结冰数据进行建模得出区域结冰的2D分布图，但其工程实现和硬件开发成本较高，目前并未被大规模应用。从机翼构型及系统设计角度考虑，结冰探测装置设受到机翼油箱位置的限制，无法完全覆盖重要部件的所有位置；同时，目前大多数结冰探测设备的安装都必须对飞机结构外形进行改变，这也增加了设备安装的难度。
近年来，深度学习被广泛运用在计算机视觉领域，并取得了一些成果，但仍面临着很多挑战。基于深度学习的检测方法通常根据有无锚框(Anchor)分为两个流派，分别是基于锚框的区域建议方法和基于无锚框(Anchor-free)的回归方法。基于锚框的方法在自然场景图像检测中取得巨大成功，如R-CNN系列，这些方法首先从输入图像中获取目标可能存在的候选区域，之后再对候选区域进行分类及回归操作，最终获得目标的检测框，检测精度较高，但锚框的生成需要人工设定大量的参数，并进行额外的后处理操作，这都将导致模型复杂度较高，计算量较大，大量的锚框区域为负样本，这也造成了正负样本的不均衡，不利于模型的训练。
Law H等人提出了基于无锚框的目标检测方法CornerNet，在COCO数据集上实现了42.1%的平均精度，超过了之前所有的一阶段检测器，然而在检测速度上明显慢于YOLO。为了进一步改进CornerNet方法，Zhou X Y等人提出了CenterNet，在目标的中心引入一个额外的中心点，使得角点匹配更加精确，Anchor-free系列算法有着更小的网络复杂度和计算量，在检测精度和速度上实现了很好的平衡。
发明内容
本发明的目的在于克服现有机翼结冰检测技术的不足，提供一种CenterNet与混合注意力相融合的机翼结冰检测方法，针对实验数据集中结冰区域方向任意的问题，设计了一种角度预测分支网络，实现了对旋转目标的精确标定；由于目标区域特征信息在卷积过程中很容易受到背景噪声的影响，且机翼结冰区域边缘模糊、难以识别，本方法加入混合注意力机制（Convolutional Block Attention Module），最大程度上保留全部和局部特征信息，提升了网络输出特征图的表达能力。
为实现上述发明目的，本发明设计一种基于CenterNet改进的网络模型，其特征在于，包括以下步骤：
步骤S1：获取机翼在实验室中的结冰数据集，并对图像进行预处理；
步骤S2：构建RA-CenterNet机翼结冰检测网络模型；
步骤S3：把预处理过后的数据集输入步骤S1中构建的网络模型进行训练；
步骤S4：利用步骤S3中训练好的模型，进行机翼结冰检测；
步骤S5：模型指标评估，采用准确率（Accuracy）、检测速度（FPS）进行效果评价。
进一步的，步骤S1中获取机翼在实验室中的结冰数据集包括：
S11：获取实验图像视频集，针对七个样本视频集，对原视频进行十倍压缩，对压缩后的视频进行间隔5帧采样，形成图片集，并将其按照8:1:1比例划分为训练集、验证集和测试集；
进一步的，构建CenterNet与混合注意力相融合的机翼结冰检测网络模型RA-CenterNet，所述RA-CenterNet以CenterNet为基础网络，并在DLA-34骨干网络基础上增加角度偏移预测分支网络和混合注意力机制，所述步骤S2具体包括：
S21：RA-CenterNet将目标看做一个点，目标中心点由关键点热力图（KeypointHeatmap）表示，其中，关键点热力图是将一个高斯分布函数应用于每个关键点的位置，生成以该关键点为中心的高斯热力图，通过预测目标的中心点偏移量(Offset)，宽度和高度(Size)来获取物体实际Box，预测中心点公式如下：
其中，Y表示中心点的置信度，W和H表示输入图片的宽和高，R是输出步长，C是中心点的类别；
S22：在角度偏移预测分支网络中，将边界框表示为（x，y，w，h，θ），该角度偏移预测分支网络所使用的激活函数公式如下：
其中，x表示任意实数，f(x)为函数值；
S23：在特征提取阶段，RA-CenterNet在下采样后加入混合注意力机制，使得网络更加关注可能的目标区域，在RA-CenterNet中，特征图M经过两条池化支路再经过3层MLP多层感知机网络得到两个C×1×1的矢量相加，之后经过Sigmoid函数激活操作得到（0,1）之间的权重系数AC，公式如下：
其中，△表示Sigmoid函数，MLP表示多层感知机，MaxPool和AvgPool分别表示最大池化和平均池化，M表示输入特征图，AC与特征图M逐坐标相乘得到聚焦通道后的特征图M1，公式如下：
为将无关背景和意义较低的坐标范围相关性降低，后半部分采用空间注意力机制，
将特征图M1经过两种沿通道轴线的全局池化压缩后，经过7×7卷积，使用Sigmoid函数操作得到（0,1）之间的权重系数AS，公式如下：
其中，△表示Sigmoid函数，f7×7表示7×7大小的卷积核，MaxPool和AvgPool分别表示最大池化和平均池化，M1表示输入特征图，AS与M1逐坐标相乘得到聚焦通道后的特征图M2，公式如下：
S24：在解码器阶段，在解码器阶段，通过跳跃连接细节特征信息再次与同一卷积层的全局特征信息融合，最终获得64×128×128的特征图；
S25：在预测阶段，在预测阶段，将解码器阶段融合得到的特征图分别送入4条预测分支网络，分别包括128×128×1的中心点热力图预测分支网络，128×128×2的尺寸预测分支网络，128×128×2的中心点偏移预测分支网络，以及128×128×1的角度偏移预测分支网络；
通过在每个类的特征图中预测中心点，分别提取每个类的热力图上的峰值点，假设p为预测到的中心点，Pc表示某c类目标中的一个点，每个中心点位置用整型坐标（xi,yi）表示，使用Y表示当前点的置信度，随后使用如下坐标公式来产生标定框：
其中，point1和point2分别代表标定框的左上角点和右下角点，（xi,yi）表示预测的中心点坐标，（δxi,δyi）是中心点偏移预测结果，（wi,hi）是尺寸预测结果；
进一步的，所述步骤S3网络模型训练的具体方法为：
S31：将预处理后的图像训练集和验证集输入步骤S1中构建的机翼结冰检测网络模型进行训练；
S32：设定训练网络模型的初始参数如下：
用深度学习框架Pytorch1.7搭建网络模型架构，实验中模型针对4个分支预测网络设置不同损失函数，总损失函数如下：
其中，L表示总损失函数值，Lk是热力图预测损失函数，Lsize是尺寸预测损失函数，Loff是中心点偏移预测损失，Langle是角度预测偏移损失函数，对应权重λsize=0.1，λoff=1，λangle=0.2，超参数设置（初始学习率为0.0001，总迭代次数为200次，Batch size为8），每一轮的训练保存最佳模型；
进一步的，所述步骤S4的具体方法为，
将预处理后的测试集图像输入到步骤S3中训练好的机翼结冰检测网络模型进行结冰区域检测，前向传播获得机翼结冰图像的预测特征信息，并生成机翼结冰目标区域的检测框；
进一步的，所述步骤S5的具体方法为：
采用目标检测领域常用的两种评估指标，即准确率（Accuracy）、检测速度（FPS）来评估机翼结冰检测模型的性能。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实例提供的改进的CenterNet机翼结冰检测方法实施流程图；
图2是本发明实例提供的改进的CenterNet机翼结冰检测网络模型框架图；
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
参考图1和图2，对本发明的实现步骤做进一步的详细描述，
步骤1，数据预处理阶段：
步骤1.1、获取实验室图像视频集，获取机翼在实验室中的结冰数据集，所涉及的相关数据为实验场景中多个角度拍摄的图像，实验室环境模拟机翼穿过含过冷水滴云层时的状态,针对七个样本视频集，对原视频进行十倍压缩，对压缩后的视频进行间隔5帧采样，形成图片集，并将其按照8:1:1比例划分为训练集、验证集和测试集；
步骤1.2、对原始数据集进行数据增强，将训练集和验证集中的每一张图像裁剪成m×n大小的图像块，在本实施例中，裁剪为512×512的图像块。为了探索本发明模型的真实有效性，通过随机旋转、中心旋转、平移、裁剪、尺寸缩放的方式对数据集进行数据增强；
步骤1.3、得到用于检测的训练集图像41981张，验证集图像3734张；
步骤2，构建机翼结冰检测网络模型阶段：
步骤2.1、模型将目标当成一个点来检测，即用目标Box的中心点来表示这个目标，目标中心点由关键点热力图（Keypoint Heatmap）表示，其中，关键点热力图是将一个高斯分布函数应用于每个关键点的位置，生成以该关键点为中心的高斯热力图，预测目标的中心点偏移量(Offset)，宽高(Size)来得到物体实际Box，每一个类别都有一张热力图，每一张热力图上，若某个坐标处有下有物体目标的中心点，即在该坐标处产生一个中心点，预测中心点公式如下：
其中，Y表示中心点的置信度，W和H表示输入图片的宽和高，R是输出步长，C是中心点的类别。当Y=1时，表示对于类别C在当前坐标点检测到了这种类别的物体，即检测到了目标；当Y=0时，表示当前这个坐标点不存在类别C的物体。在训练过程中，对于每个类别的Ground Truth分别计算真实中心点P，利用高斯核分布公式来将高斯函数计算值填充在特征图上，进而得到某类别C的热力图。
步骤2.2、在角度预测分支网络中，将边界框表示为（x，y，w，h，θ），该分支网络所使用的激活函数公式如下：
其中，x表示任意实数，f(x)为函数值，为避免旋转框的多义性问题，RA-CenterNet在双曲正切函数前乘以π/4，将旋转框的角度范围限制在（-π/4,π/4]；
步骤2.3、在特征提取阶段，采用DLA-34作为骨干网络，经过4次下采样，不断提取深层次特征。由于目标特征信息在卷积过程中很容易受到背景噪声的英雄，因此本方法在下采样后加入混合注意力机制，使得网络更加关注可能的目标区域。在本方法中，通道数可达512，但是这512个通道并非都具有意义，其中，通道注意力（CAM）是将有用信息少和意义较低的通道相关性降低，从而筛选出更具有实际意义的通道。特征图M经过两条池化支路再经过3层的MLP多层感知机网络得到两个C×1×1的矢量相加，之后经过Sigmoid函数激活操作得到（0,1）之间的权重系数AC，公式如下：
其中，△表示Sigmoid函数，MLP表示多层感知机，MaxPool和AvgPool分别表示最大池化和平均池化，M表示输入特征图，AC与特征图M逐坐标相乘得到聚焦通道后的特征图M1，公式如下：
为将无关背景和意义较低的坐标范围相关性降低，后半部分采用空间注意力机制，特征图M1经过两种沿通道轴线的全局池化压缩后，经过7×7卷积，使用Sigmoid函数操作得到（0,1）之间的权重系数AS，公式如下：
其中，△表示Sigmoid函数，f7×7表示7×7大小的卷积核，MaxPool和AvgPool分别表示最大池化和平均池化，M1表示输入特征图，AS与M1逐坐标相乘得到聚焦通道后的特征图M2，公式如下：
步骤2.4、在解码器阶段，通过跳跃连接细节特征信息再次与同一卷积层的全局特征信息融合，最终获得64×128×128的特征图；
步骤2.5、在预测阶段，将解码器阶段融合得到的特征图分别送入4条预测分支网络，分别包括128×128×1的中心点热力图预测分支网络，128×128×2的尺寸预测分支网络，128×128×2的中心点偏移预测分支网络，以及128×128×1的角度偏移预测分支网络；
对于每个类在下采样的特征图中预测中心点，分别提取每个类的热力图上的峰值点，即对热力图上的所有相应点与其连接的8个临近点进行比较，如果该点的响应值大于或等于其8个临近点则保留，最终取满足要求的前100个峰值点。这里采用的方式是一个3x3的MaxPool。
假设p为预测到的中心点，Pc表示某c类目标中的一个点，每个中心点位置用整型坐标（xi,yi）表示，使用Y表示当前点的置信度，随后使用如下坐标公式来产生标定框：
其中，point1和point2分别代表标定框的左上角点和右下角点，（xi,yi）表示预测的中心点坐标，（δxi,δyi）是中心点偏移预测结果，（wi,hi）是尺寸预测结果；
步骤2.6、输出结果图像信息，获得结冰区域的预测图。
步骤3，训练阶段：
步骤3.1、机翼结冰图像输入步骤S2中构建的机翼结冰检测网络模型中，前向传播获得输出端机翼结冰图像的预测特征信息；
步骤3.2、设定训练网络模型的初始参数如下：
用深度学习框架Pytorch1.7搭建网络模型架构，实验中模型针对4个分支预测网络设置不同损失函数，计算预测结果与实际结果之间的损失并通过反向传播算法不断优化模型的参数，总损失函数如下：
其中，L表示总损失函数值，Lk是热力图预测损失函数，Lsize是尺寸预测损失函数，Loff是中心点偏移预测损失，Langle是角度预测偏移损失函数，对应权重λsize=0.1，λoff=1，λangle=0.2，超参数设置（初始学习率为0.0001，总迭代次数为200次，Batch size为8），每一轮的训练保存最佳模型；
步骤4，预测阶段：
将预处理后的测试集图像输入到步骤S3中训练好的机翼结冰检测网络模型进行结冰区域检测，前向传播获得机翼结冰图像的预测特征信息，并生成机翼结冰目标区域的检测框；
本发明的效果可以通过以下仿真实验进一步说明。
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为AMD Ryzen9 3900X，主存32GHz，外存为2T，显卡为NVIDIA GeForce RTX3090，显存为24GB；
本发明的仿真实验的软件平台为：Ubuntu 18.04LTS操作系统和python 3.7,CUDA11.5,CUDNN8.3.1；
2.仿真实验内容及结果分析：
本发明的仿真实验是采用本发明的方法和现有技术的消融实验方法，分别按照下述步骤进行仿真实验；
在相同实验环境下完成200次迭代训练，经过100次迭代模型达到收敛状态，将本方法与Rotated Faster R-CNN、Beyond Bounding-Box、SASM、Oriented RepPoints等旋转目标检测方法以及原CenterNet算法进行了对比实验，并且对本方法采用消融实验测试不同改进结构对算法检验性能的提升, 评价指标结果如表1所示，
表1 各模型检测性能指标评价
| 算法 | 检测精度 | 检测速度 |
| Beyond Bounding-Box | 69.6% | 5.5 |
| Rotated Faster R-CNN | 76.1% | 3.8 |
| Oriented RepPoints | 79.0% | 4.3 |
| SASM | 85.8% | 4.8 |
| Centernet | 70.2% | 11.38 |
| 本方法 | 92.7% | 9.47 |
从表1可以看出，本方法与两阶段的Rotated Faster R-CNN以及似两阶段的Beyond Bounding-Box、Oriented RepPoints相比，检测精度分别提升了16.6%、23.1%和13.1%；与Shape-Adaptive Selection and Measurement算法相比，检测精度提升了6.9%；对比原CenterNet算法，本方法增加了角度预测分支网络，可以更好的应对旋转目标检测任务，检测精度提升了22.5%。由于本方法相比于基线网络增加了角度预测分支网络与CBAM模块，算法复杂度稍有增加，相应的检测速度略有下降，但相较于其他算法，本方法在检测精度与检测速度上都具有较为明显的优势。
在应对旋转目标检测任务中，Beyond Bounding-Box算法由于需要选取9个特征点连接形成一个凸包，在应对数据集中目标边界模糊场景时难以划分目标特征点，造成漏检结冰目标；Rotated Faster R-CNN算法在Faster R-CNN基础上通过设置旋转的Anchor以及相应的NMS操作，实现了旋转目标检测任务，但是由于两阶段检测算法特性，检测速度较慢，并且存在误检情况；Oriented RepPoints和SASM没有漏检和误检情况，但是其检测结果中均存在较多的冗余边框，且检测速度较慢；CenterNet算法由于是面向常规目标检测任务算法，水平检测框对结冰区域的表示效果较差；而本方法在CenterNet对目标区域具有良好感知的基础上，加入角度预测分支网络，模型可以更好的学习到结冰区域目标的方向因素，使得矩形框可以根据目标区域方向变换角度，相比于水平矩形框，旋转框对目标的表示更为准确，极大的提升了模型对旋转目标的表达能力。
本方法在加入CBAM模块后，使得模型更加关注目标区域的特征信息，为结冰目标检测任务提供了更加精细和有效的特征信息，如梯度等，细化了检测结果的中心位置和边缘位置，对结冰区域的目标边界实现了准确的标定。
3.消融性实验
为了验证本方法对检测网络性能的影响，在基线网络上添加角度预测分支网络和CBAM模块进行实验，实验结果如表2所示。
表2 消融性实验
| 算法 | mAP | 检测速度 |
| CenterNet | 70.2% | 11.38 |
| CenterNet+Angle | 88.5% | 9.56 |
| CenterNet+Angle+CBAM | 92.7% | 9.47 |
由表2看出，加入角度预测分支网络后的模型相比CenterNet算法检测精度提升了18.3%，提升效果最为明显，但是由于增加了分支网络，检测速度略有下降；在此基础上添加CBAM模块相比只加入角度预测分支网络的模型检测精度提升4.2%，检测速度基本保持一致。
综上所述，与现有技术相比，本发明公开的一种CenterNet与混合注意力相融合的机翼结冰检测方法，具有以下有益效果：(1)本发明所建立的RA-CenterNet机翼结冰检测网络模型，能够对结冰图像进行识别，进而为机翼结冰探测工作提供了有力支持；(2)所提出的方法模型简单高效，具有广泛的适用性；(3)经利用真实机翼结冰图像数据验证表明：本发明所构建的模型在针对有一定倾斜角度的机翼结冰图像检测的问题上有着较好的性能，检测精度较高。
Claims (1)
1.一种CenterNet与混合注意力相融合的机翼结冰检测方法，其特征在于，包括以下方法：
步骤S1：获取机翼在实验室中的结冰数据集，具体为实验场景中多个角度拍摄的机翼结冰图像，实验室环境模拟机翼穿过含过冷水滴云层时的状态，通过随机旋转、中心旋转、平移、裁剪、尺寸缩放的方式对所述结冰数据集进行数据增强；
步骤S2：构建CenterNet与混合注意力相融合的机翼结冰检测网络模型RA-CenterNet，所述RA-CenterNet以CenterNet为基础网络，并在DLA-34骨干网络基础上增加角度偏移预测分支网络和混合注意力机制，所述步骤S2具体包括：
步骤S21：RA-CenterNet将目标看做一个点，目标中心点由关键点热力图表示，其中，关键点热力图是将一个高斯分布函数应用于每个关键点的位置，生成以该关键点为中心的高斯热力图，通过预测目标的中心点偏移量、宽度和高度来获取物体实际Box，预测中心点公式如下：
其中，Y表示中心点的置信度，W和H表示输入图片的宽和高，R是输出步长，C是中心点的类别；
步骤S22：在角度偏移预测分支网络中，将边界框表示为(x，y，w，h，θ)；该角度偏移预测分支网络使用的激活函数公式如下：
其中，a表示任意实数，f(a)为函数值；
步骤S23：在特征提取阶段，采用DLA-34作为骨干网络，经过4次下采样后加入混合注意力机制，使得网络更加关注目标区域，在RA-CenterNet中，特征图M经过两条池化支路再经过3层MLP多层感知机网络得到两个N×1×1的矢量相加，之后经过Sigmoid函数激活操作得到(0,1)之间的权重系数AC，公式如下：
Ac＝Δ(MLP(MaxPool(M))+MLP(AvgPool(M)))
其中，△表示Sigmoid函数，MLP表示多层感知机，MaxPool和AvgPool分别表示最大池化和平均池化，M表示输入特征图，AC与特征图M逐坐标相乘得到聚焦通道后的特征图M1，公式如下：
采用空间注意力机制(Space Attention Machine,SAM)对所述特征图M1进行处理，具体为：
将特征图M1经过两种沿通道轴线的全局池化压缩后，经过7×7卷积，使用Sigmoid函数操作得到(0，1)之间的权重系数As，公式如下：
As＝Δ(f7×7(MaxPool(M1)；AvgPool(M1)))
其中，Δ表示Sigmoid函数，f7×7表示7×7大小的卷积核，MaxPool和AvgPool分别表示最大池化和平均池化，M1表示输入特征图，AS与M1逐坐标相乘得到聚焦通道后的特征图M2，公式如下：
步骤S24：在解码器阶段，通过跳跃连接细节特征信息再次与同一卷积层的全局特征信息融合，最终获得64×128×128的特征图；
步骤S25：在预测阶段，将解码器阶段融合得到的特征图分别送入4条预测分支网络，分别包括128×128×1的中心点热力图预测分支网络，128×128×2的尺寸预测分支网络，128×128×2的中心点偏移预测分支网络，以及128×128×1的角度偏移预测分支网络；
通过在每个类的特征图中预测中心点，分别提取每个类的热力图上的峰值点，假设p为预测到的中心点，Pc表示某c类目标中的一个点，每个中心点位置用整型坐标(xi，yi)表示，使用Y表示当前点的置信度，随后使用如下坐标公式来产生标定框：
point1＝(xi+δxi-wi/2，yi+δyi-hi/2)
point2＝(xi+δxi+wi/2，yi+δyi+hi/2)
其中，point1和point2分别代表标定框的左上角点和右下角点，(xi，yi)表示预测的中心点坐标，(δxi，δyi)是中心点偏移预测结果，(wi，hi)是尺寸预测结果；
步骤S3：将步骤S1得到的预处理后的结冰数据集输入到步骤S2中构建的机翼结冰检测网络模型中进行训练，所述步骤S3具体包括：
步骤S31：将预处理后的机翼结冰图像输入步骤S2中构建的机翼结冰检测网络模型中，前向传播获得机翼结冰图像的预测特征信息；
步骤S32：机翼结冰检测网络模型针对4个分支预测网络设置不同损失函数，计算预测结果与实际结果之间的损失并通过反向传播算法不断优化模型的参数，总损失函数如下：
L＝Lk+λsizeLsize+λoffLoff+λangleLangle
其中，L表示总损失函数值，Lk是热力图预测损失函数，Lsize是尺寸预测损失函数，Loff是中心点偏移预测损失，Langle是角度预测偏移损失函数，经过实验分析，对应权重分别设置为λsize＝0.1，λoff＝1，λangle＝0.2；
步骤S4：利用步骤S3中训练好的模型，进行机翼结冰检测并生成机翼结冰目标区域的检测框；
步骤S5：采用准确率、检测速度两种评估指标评估机翼结冰检测模型的性能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311385829.3A CN117132870B (zh) | 2023-10-25 | 2023-10-25 | 一种CenterNet与混合注意力相融合的机翼结冰检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311385829.3A CN117132870B (zh) | 2023-10-25 | 2023-10-25 | 一种CenterNet与混合注意力相融合的机翼结冰检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117132870A CN117132870A (zh) | 2023-11-28 |
| CN117132870B true CN117132870B (zh) | 2024-01-26 |
Family
ID=88863071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311385829.3A Active CN117132870B (zh) | 2023-10-25 | 2023-10-25 | 一种CenterNet与混合注意力相融合的机翼结冰检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132870B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117421678B (zh) * | 2023-12-19 | 2024-03-22 | 西南石油大学 | 一种基于知识蒸馏的单导联房颤识别系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836561A (zh) * | 2020-06-11 | 2021-05-25 | 同济大学 | 飞机机翼表面上结冰三维冰型的实时获取系统 |
| CN113284123A (zh) * | 2021-06-01 | 2021-08-20 | 浙江工商大学 | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 |
| CN114359153A (zh) * | 2021-12-07 | 2022-04-15 | 湖北工业大学 | 一种基于改进CenterNet的绝缘子缺陷检测方法 |
| CN114612769A (zh) * | 2022-03-14 | 2022-06-10 | 电子科技大学 | 一种融入局部结构信息的集成感知红外成像舰船检测方法 |
| CN114708511A (zh) * | 2022-06-01 | 2022-07-05 | 成都信息工程大学 | 基于多尺度特征融合和特征增强的遥感图像目标检测方法 |
| CN114842215A (zh) * | 2022-04-20 | 2022-08-02 | 大连海洋大学 | 一种基于多任务融合的鱼类视觉识别方法 |
| CN114998303A (zh) * | 2022-06-30 | 2022-09-02 | 上海艺冉医疗科技股份有限公司 | 特征提取能力强的小肠间质瘤检测方法 |
| CN115331480A (zh) * | 2021-05-10 | 2022-11-11 | 北京万集科技股份有限公司 | 一种车辆预警方法、装置及计算设备 |
| CN115507734A (zh) * | 2022-10-08 | 2022-12-23 | 华中科技大学 | 一种基于压电阵列的结冰三维成像方法 |
| EP4134298A1 (en) * | 2021-08-11 | 2023-02-15 | Rosemount Aerospace Inc. | Aircraft door camera system for monitoring an external environment of the aircraft |
| CN116152259A (zh) * | 2023-04-23 | 2023-05-23 | 西南石油大学 | 一种基于图神经网络的储层渗透率计算方法 |
| CN116246658A (zh) * | 2022-12-09 | 2023-06-09 | 海南大学 | 一种基于MobileCBAM-CenterNet的鼾声检测方法及装置 |
-
2023
- 2023-10-25 CN CN202311385829.3A patent/CN117132870B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836561A (zh) * | 2020-06-11 | 2021-05-25 | 同济大学 | 飞机机翼表面上结冰三维冰型的实时获取系统 |
| CN115331480A (zh) * | 2021-05-10 | 2022-11-11 | 北京万集科技股份有限公司 | 一种车辆预警方法、装置及计算设备 |
| CN113284123A (zh) * | 2021-06-01 | 2021-08-20 | 浙江工商大学 | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 |
| EP4134298A1 (en) * | 2021-08-11 | 2023-02-15 | Rosemount Aerospace Inc. | Aircraft door camera system for monitoring an external environment of the aircraft |
| CN114359153A (zh) * | 2021-12-07 | 2022-04-15 | 湖北工业大学 | 一种基于改进CenterNet的绝缘子缺陷检测方法 |
| CN114612769A (zh) * | 2022-03-14 | 2022-06-10 | 电子科技大学 | 一种融入局部结构信息的集成感知红外成像舰船检测方法 |
| CN114842215A (zh) * | 2022-04-20 | 2022-08-02 | 大连海洋大学 | 一种基于多任务融合的鱼类视觉识别方法 |
| CN114708511A (zh) * | 2022-06-01 | 2022-07-05 | 成都信息工程大学 | 基于多尺度特征融合和特征增强的遥感图像目标检测方法 |
| CN114998303A (zh) * | 2022-06-30 | 2022-09-02 | 上海艺冉医疗科技股份有限公司 | 特征提取能力强的小肠间质瘤检测方法 |
| CN115507734A (zh) * | 2022-10-08 | 2022-12-23 | 华中科技大学 | 一种基于压电阵列的结冰三维成像方法 |
| CN116246658A (zh) * | 2022-12-09 | 2023-06-09 | 海南大学 | 一种基于MobileCBAM-CenterNet的鼾声检测方法及装置 |
| CN116152259A (zh) * | 2023-04-23 | 2023-05-23 | 西南石油大学 | 一种基于图神经网络的储层渗透率计算方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于改进CenterNet的舰面多目标检测算法;黄葵等;《舰船电子工程》;第42卷(第09期);29-35 * |
| 基于深度学习的工业仪表检测与自动读数方法研究;匡益;《中国优秀硕士学位论文全文数据库》(第08期);C030-23 * |
| 基于纬度融合与SSA-LSTM的机翼结冰检测;聂福印;《传感器与微系统》;第41卷(第06期);118-121 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117132870A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113567984B (zh) | 一种sar图像中人造小目标的检测方法及系统 | |
| CN108596101B (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
| CN117132870B (zh) | 一种CenterNet与混合注意力相融合的机翼结冰检测方法 | |
| CN110889324A (zh) | 一种基于yolo v3面向末端制导的热红外图像目标识别方法 | |
| CN103353988B (zh) | 异源sar景象特征匹配算法性能评估方法 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN110363104A (zh) | 一种柴油黑烟车的检测方法 | |
| CN110009010A (zh) | 基于兴趣区域重检测的宽幅光学遥感目标检测方法 | |
| CN113111727B (zh) | 一种基于特征对齐的遥感场景下旋转目标检测方法 | |
| CN111914924B (zh) | 一种快速舰船目标检测方法、存储介质及计算设备 | |
| CN110189304A (zh) | 基于人工智能的光学遥感图像目标在线快速检测方法 | |
| CN113920400A (zh) | 一种基于改进YOLOv3的金属表面缺陷检测方法 | |
| CN111723747A (zh) | 一种应用于嵌入式平台轻量型高效率的目标检测方法 | |
| CN111915558A (zh) | 一种高压输电线销钉状态检测方法 | |
| CN113688830B (zh) | 基于中心点回归的深度学习目标检测方法 | |
| CN108230313A (zh) | 基于部件自适应选择与判别模型的sar图像目标检测方法 | |
| CN113902792A (zh) | 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备 | |
| CN113096122A (zh) | 流星检测方法、装置及电子设备 | |
| CN116758263A (zh) | 基于多层级特征融合和联合定位的遥感图像目标检测方法 | |
| CN115410102A (zh) | 基于联合注意力机制的sar图像飞机目标检测方法 | |
| CN107507198B (zh) | 飞机图像探测及追踪方法 | |
| CN107341798B (zh) | 基于全局-局部SPP Net的高分辨SAR图像变化检测方法 | |
| CN113033644B (zh) | 一种基于凸包特征自适应的旋转密集目标检测方法 | |
| CN115147684A (zh) | 基于深度学习的目标打击效果评估方法 | |
| CN114529815A (zh) | 一种基于深度学习的流量检测方法、装置、介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |