CN115546735A - 一种冷却塔结冰检测识别系统、方法和存储介质 - Google Patents

一种冷却塔结冰检测识别系统、方法和存储介质 Download PDF

Info

Publication number
CN115546735A
CN115546735A CN202211496229.XA CN202211496229A CN115546735A CN 115546735 A CN115546735 A CN 115546735A CN 202211496229 A CN202211496229 A CN 202211496229A CN 115546735 A CN115546735 A CN 115546735A
Authority
CN
China
Prior art keywords
layer
feature
module
intra
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211496229.XA
Other languages
English (en)
Other versions
CN115546735B (zh
Inventor
郑宏
万铭
刘逍
曹阳
覃益徍
陈鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengyuan Xianfeng Chengdu Environmental Protection Technology Co ltd
Sichuan Chuanguo Environmental Protection Engineering Co ltd
Original Assignee
Shengyuan Xianfeng Chengdu Environmental Protection Technology Co ltd
Sichuan Chuanguo Environmental Protection Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shengyuan Xianfeng Chengdu Environmental Protection Technology Co ltd, Sichuan Chuanguo Environmental Protection Engineering Co ltd filed Critical Shengyuan Xianfeng Chengdu Environmental Protection Technology Co ltd
Priority to CN202211496229.XA priority Critical patent/CN115546735B/zh
Publication of CN115546735A publication Critical patent/CN115546735A/zh
Application granted granted Critical
Publication of CN115546735B publication Critical patent/CN115546735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种冷却塔结冰检测识别系统、方法和存储介质，网络模型包括主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器，类内特征增强模块用于提高全局特征的区分能力及增强局部类内特征的集中性；跨尺度交叉融合模块分别与主干网络部分、类内特征增强模块连接；所述检测器用于有监督地对目标定位识别。所述类内特征增强模块包括若干个卷积组合模块、变形自注意力模块以及类内特征聚集模块，所述类内特征聚集模块用于得到聚类掩码图，通过特征相加层将输入特征块与处理后的特征块叠加。本发明使特征信息从全局和局部角度更为集中，并使用跨尺度交叉融合解决复杂的目标尺度变化，从而提高模型对结冰情况的检测精度。

Description

一种冷却塔结冰检测识别系统、方法和存储介质
技术领域
本发明属于目标检测的技术领域，具体涉及一种冷却塔结冰检测识别系统、方法和存储介质。
背景技术
随着国家对经济的大力发展，人民生活水平得到了提高。电力是经济发展不能缺少的重要支撑，经济的迅猛发展需要依赖电力的供给，所以电力的产出是与经济发展和国民生活息息相关的。冷却塔用于排出废弃的热量，是发电厂降温的主要设施。当冬季来临时，外界温度降低易使冷却塔结冰，导致冷却塔冷却效果大大降低，而且多次冻融会减少冷却塔的使用寿命，增加人工成本，所以如何及时发现冷却塔结冰现象的产生是目前发电厂急需解决的问题之一。
冷却塔结冰检测识别方法主要可分为传统方法和人工智能方法。传统方法可分为两种，一种是由工作人员定期巡查，然后每个星期进行人工除冰，这种操作不仅仅是增加了工作人员的工作量，而且人工除冰会造成管道、浮球阀等零件的损坏；另外一种是使用除冰设备长时间对冷却塔进行工作，如喷淋泵、格栅加热设备等等，这样会增加电耗，而且长时间工作会使除冰设备耗损成本增加，从而增加经济成本。人工智能方法是指基于深度学习的检测识别方法，利用深度神经网络强大的表征能力对目标进行抽象描述，实现非接触式地精确检测，具有较强的泛化性，能及时发现结冰的地方，并将结果可视化地展示给相关工作人员，益于后续的工作开展。
目前，大多数冷却塔结冰检测识别方法采用通用目标的检测技术，对冰块不规则的形态没有针对性，而且自然结冰产生的冰块尺度大小不一，通用方法无法做到全方面的覆盖，从而导致漏检和定位不准等情况。因此，急需一种强泛化、跨尺度的冷却塔结冰检测识别方案，适应目标形态多变的场景，能精确的处理无人机设备采集的视频数据，及时向工作人员预警，防止结冰带来的经济损失和产能影响。
发明内容
本发明的目的在于提供一种冷却塔结冰检测识别系统、方法和存储介质，旨在解决上述问题。本发明聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高模型对结冰情况的检测精度。
本发明主要通过以下技术方案实现：
一种冷却塔结冰检测识别系统，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集不同外界因素条件下冬季冷却塔的图像数据，并标注出冰的定位框核类别标签，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出冷却塔结冰的检测识别结果；
所述网络模型包括从前至后依次设置的主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器，所述主干网络部分用于提取样本具有层次性的特征信息；所述类内特征增强模块用于提高全局特征的区分能力及增强局部类内特征的集中性；所述跨尺度交叉融合模块分别与主干网络部分、类内特征增强模块连接，用于融合多尺度特征；所述检测器用于有监督地对目标定位识别；
所述类内特征增强模块包括第一卷积组合模块、第二卷积组合模块、若干个变形自注意力模块以及类内特征聚集模块、特征相乘层、特征相加层、特征拼接层，所述类内特征聚集模块包括从前至后依次设置的目标中心定位、k-means聚类以及掩码图生成层；所述第一卷积组合模块与特征拼接层之间设置有两个分支，其中一个分支上设置有若干个变形自注意力模块，另一个分支上从前至后依次设置有类内特征聚集模块、特征相乘层、特征相加层、第二卷积组合模块；所述类内特征聚集模块用于得到样本特征块的聚类掩码图，样本的特征块通过特征相乘层与掩码图生成层连接，所述特征相乘层的输出端与样本的特征块通过特征相加层连接。
所述卷积组合模块包括从前至后依次设置的卷积层C、批归一化层BN、修正线性单元层R。本发明中描述的若干个是指大于等于1个。
为了更好地实现本发明，进一步地，所述主干网络部分包括若干组从前之后依次设置的卷积组合块、最大值池化层，所述网络模型包括3个从前至后依次设置的跨尺度交叉融合模块；所述主干网络部分尾端的卷积组合块与前端的跨尺度交叉融合模块连接，用于输出语义丰富的特征信息至跨尺度交叉融合模块；所述主干网络部分尾端的最大值池化层与类内特征增强模块连接，所述类内特征增强模块分别与3个跨尺度交叉融合模块连接。相邻的跨尺度交叉融合模块之间相互传递层次性特征。
为了更好地实现本发明，进一步地，3个从前至后依次设置的跨尺度交叉融合模块的上采样倍数分别是2倍、4倍、2倍。
为了更好地实现本发明，进一步地，所述跨尺度交叉融合模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、特征上采样层、柔性最大值层、特征拼接层以及若干个卷积组合块；所述类内特征增强模块的输出通过第一卷积层与特征上采样层连接，所述主干网络部分的输出与第二卷积层连接，所述特征上采样层、第二卷积层分别与特征拼接层连接；所述第二卷积层分别与第三卷积层、第四卷积层连接，所述第三卷积层、第四卷积层分别通过特征相乘层与柔性最大值层连接；所述柔性最大值层与特征拼接层通过特征相乘层连接，且特征相乘层通过特征相加层与特征拼接层连接，所述特征相加层的输出端设置有若干个卷积组合块。
为了更好地实现本发明，进一步地，所述网络模型的损失函数包括类内特征聚集模块内的目标中心定位损失函数以及主任务损失函数，所述主任务损失函数包括类别分类损失函数和位置回归损失函数。
为了更好地实现本发明，进一步地，所述目标中心定位损失函数采用L1损失函数，所述类别分类损失函数采用焦点损失函数，所述位置回归损失函数采用smooth L1损失函数。
本发明主要通过以下技术方案实现：
一种冷却塔结冰检测识别方法，采用上述的系统进行，包括以下步骤：
步骤S100：采集不同外界因素条件下冬季冷却塔的视频数据，获取样本图片，并人工标注出冰的定位框核类别标签，并形成训练集、测试集；
步骤S200：搭建网络模型，采用主干网络部分提取出样本的深层特征信息，其次，利用类内特征增强模块从目标中心出发增强全局特征和局部特征，然后，使用跨尺度交叉融合模块提高网络模型的尺度不变性，最后，有监督地得到类别概率值和回归出目标的中心点坐标及定位框的高宽值；
步骤S300：随机初始化网络模型的相关权重参数，预先设置学习率、最大迭代次数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后采用测试集测试网络模型，从保存的模型中测试择优，得到训练后的网络模型；
步骤S400：将待检测图片输入到训练后的网络模型，并检测输出冷却塔结冰的识别结果。
为了更好地实现本发明，进一步地，在步骤S200中，所述类内特征增强模块首先利用第一卷积组合模块降低特征信息的维度，减少参数量；其次分两个分支处理，一分支用串联的若干个变形自注意力模块处理特征信息，增强特征信息的全局感知能力；另一分支利用类内特征聚集模块得到聚类掩码图，再通过特征相乘层使输入特征块内部的局部特征之间的距离拉近，使类内特征更为集中，然后利用特征相加层将输入特征块与处理后的特征块叠加，防止特征退化；最后使用特征拼接层将两分支的特征信息拼接融合，得到表达能力更强的特征信息。
为了更好地实现本发明，进一步地，所述目标中心定位通过回归的方式找到目标定位框的中心点坐标；然后使用k-means算法将特征信息以中心点为簇进行聚类，并剔除离散点；最后由掩码图生成层按聚类结果生成聚类掩码图。
一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的方法。
本发明的有益效果如下：
（1）本发明利用k-means算法聚类特征信息，将目标内部的局部特征之间的距离拉近，高效地加工语义最为丰富的深层信息，使类内视觉特征信息更为集中，利于调整后续融合的特征信息；
（2）本发明的跨尺度交叉融合模块利用交叉注意力机制融合不同特性的特征信息，在多个尺度的感知区域交叉交互，以解决模型的尺度敏感性；
（3）本发明是基于单阶段有监督学习的冷却塔结冰检测识别方法，聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高模型对结冰情况的检测精度。
附图说明
图1为本发明网络模型的整体结构示意图；
图2为类内特征增强模块的结构示意图；
图3为跨尺度交叉融合模块的结构示意图。
具体实施方式
实施例1：
一种冷却塔结冰检测识别系统，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集不同外界因素条件下冬季冷却塔的图像数据，并标注出冰的定位框核类别标签，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出冷却塔结冰的检测识别结果。
如图1所示，所述网络模型包括从前至后依次设置的主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器，所述主干网络部分用于提取样本具有层次性的特征信息；所述类内特征增强模块用于提高全局特征的区分能力及增强局部类内特征的集中性；所述跨尺度交叉融合模块分别与主干网络部分、类内特征增强模块连接，用于融合多尺度特征；所述检测器用于有监督地对目标定位识别。
如图2所示，所述类内特征增强模块包括第一卷积组合模块C1-BN1-R1、第二卷积组合模块C2-BN2-R2、若干个变形自注意力模块以及类内特征聚集模块、特征相乘层、特征相加层、特征拼接层，所述类内特征聚集模块包括从前至后依次设置的目标中心定位、k-means聚类以及掩码图生成层；所述第一卷积组合模块与特征拼接层之间设置有两个分支，其中一个分支上设置有若干个变形自注意力模块，另一个分支上从前至后依次设置有类内特征聚集模块、特征相乘层、特征相加层、第二卷积组合模块；所述类内特征聚集模块用于得到样本特征块的聚类掩码图，样本的特征块通过特征相乘层与掩码图生成层连接，所述特征相乘层的输出端与样本的特征块通过特征相加层连接。所述卷积组合模块包括从前至后依次设置的卷积层C、批归一化层BN、修正线性单元层R。
优选地，如图3所示，所述跨尺度交叉融合模块包括第一卷积层C1、第二卷积层C2、第三卷积层C3、第四卷积层C4、特征上采样层、柔性最大值层、特征拼接层以及若干个卷积组合块；所述类内特征增强模块的输出通过第一卷积层C1与特征上采样层连接，所述主干网络部分的输出与第二卷积层C2连接，所述特征上采样层、第二卷积层C2分别与特征拼接层连接；所述第二卷积层C1分别与第三卷积层C3、第四卷积层C4连接，所述第三卷积层C3、第四卷积层C4分别通过特征相乘层与柔性最大值层连接；所述柔性最大值层与特征拼接层通过特征相乘层连接，且特征相乘层通过特征相加层与特征拼接层连接，所述特征相加层的输出端设置有若干个卷积组合块C-BN-R。如图3所示，跨尺度交叉融合模块的输入分别为F1、F2。F1指类内特征增强模块输出的特征信息，F2指主干网络部分输出的特征信息。
优选地，如图1所示，所述主干网络部分包括若干组从前之后依次设置的卷积组合块、最大值池化层，所述网络模型包括3个从前至后依次设置的跨尺度交叉融合模块CSCFM1-CSCFM3；所述主干网络部分尾端的卷积组合块与前端的跨尺度交叉融合模块连接，用于输出语义丰富的特征信息至跨尺度交叉融合模块CSCFM1；所述主干网络部分尾端的最大值池化层与类内特征增强模块连接，所述类内特征增强模块分别与3个跨尺度交叉融合模块CSCFM1-CSCFM3连接。相邻的跨尺度交叉融合模块之间相互传递层次性特征。如图3所示，前端的跨尺度交叉融合模块CSCFM1的输入分别为F1、F2。
优选地，3个从前至后依次设置的跨尺度交叉融合模块CSCFM1-CSCFM3的上采样倍数分别是2倍、4倍、2倍。优选地，如图1所示，所述网络模型还设置有损失函数，所述网络模型的损失函数包括类内特征聚集模块内的目标中心定位损失函数以及主任务损失函数，所述主任务损失函数包括类别分类损失函数和位置回归损失函数。
优选地，所述目标中心定位损失函数采用L1损失函数，所述类别分类损失函数采用焦点损失函数，所述位置回归损失函数采用smooth L1损失函数。
本发明利用k-means算法聚类特征信息，将目标内部的局部特征之间的距离拉近，高效地加工语义最为丰富的深层信息，使类内视觉特征信息更为集中，利于调整后续融合的特征信息。本发明聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高了网络模型对结冰情况的检测精度。
实施例2：
一种冷却塔结冰检测识别方法，采用上述的系统进行，包括以下步骤：
步骤S100：采集不同外界因素条件下冬季冷却塔的视频数据，获取样本图片，并人工标注出冰的定位框核类别标签，并形成训练集、测试集；
步骤S200：搭建网络模型，采用主干网络部分提取出样本的深层特征信息，其次，利用类内特征增强模块从目标中心出发增强全局特征和局部特征，然后，使用跨尺度交叉融合模块提高网络模型的尺度不变性，最后，有监督地得到类别概率值和回归出目标的中心点坐标及定位框的高宽值；
步骤S300：随机初始化网络模型的相关权重参数，预先设置学习率、最大迭代次数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后采用测试集测试网络模型，从保存的模型中测试择优，得到训练后的网络模型；
步骤S400：将待检测图片输入到训练后的网络模型，并检测输出冷却塔结冰的识别结果。
优先地，在步骤S200中，所述类内特征增强模块首先利用第一卷积组合模块降低特征信息的维度，减少参数量；其次分两个分支处理，一分支用串联的若干个变形自注意力模块处理特征信息，增强特征信息的全局感知能力；另一分支利用类内特征聚集模块得到聚类掩码图，再通过特征相乘层使输入特征块内部的局部特征之间的距离拉近，使类内特征更为集中，然后利用特征相加层将输入特征块与处理后的特征块叠加，防止特征退化；最后使用特征拼接层将两分支的特征信息拼接融合，得到表达能力更强的特征信息。
优先地，所述目标中心定位通过回归的方式找到目标定位框的中心点坐标；然后使用k-means算法将特征信息以中心点为簇进行聚类，并剔除离散点；最后由掩码图生成层按聚类结果生成聚类掩码图。
本发明是基于单阶段有监督学习的冷却塔结冰检测识别方法，聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高模型对结冰情况的检测精度。
实施例3：
一种冷却塔结冰检测识别方法，包括以下步骤：
利用无人设备采集不同外界因素条件下冬季冷却塔的视频数据，并人工标注出冰的定位框核类别标签；
根据目标具有不规则形态的特性，设计出单阶段的网络模型，所述网络模型包括主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器。首先利用主干网络部分提取出样本的深层特征信息，其次利用类内特征增强模块从目标中心出发增强全局特征和局部特征，然后使用跨尺度交叉融合模块提高模型的尺度不变性，最后有监督地得到类别概率值和回归出目标的中心点坐标及定位框的高宽值。
如图1所示，所述网络模型还设置有损失函数，网络模型的损失函数分为类别分类损失函数和位置回归损失函数，用于计算预测类别与真实类别的差值，以及预测的定位框和真实定位框的损失值；
随机初始化模型相关权重参数，预先设置学习率、最大迭代次数等超参数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后从保存的模型中测试择优。
进一步地，所述主干网络部分采用通用的VGG16结构，用于提取出具有层次性的特征信息。
进一步地，所述类内特征增强模块从前至后依次包括卷积组合模块、变形自注意力模块、类内特征聚集模块、特征相乘层、特征相加层以及特征拼接层，用于对特征信息进一步加工，提高全局特征的区分能力，及增强局部类内特征的集中性。
进一步地，所述类内特征聚集模块包括目标中心定位、k-means聚类以及掩码图生成层。首先利用目标中心定位粗略地找到目标中心，然后使用k-means算法将特征信息以目标中心点为簇进行聚类，并剔除离散点，最后生成聚类掩码图。类内特征聚集模块用于将目标内部的局部特征之间的距离拉近，使类内特征更为集中，利于后续的定位和识别。
进一步地，如图3所示，所述跨尺度交叉融合模块从前至后依次包括若干个卷积层、特征上采样层、特征拼接层、注意力模块、特征相加层及若干个卷积组合模块。如图1所示，设置有3个跨尺度交叉融合模块，且3个跨尺度交叉融合模块的上采样倍数分别是2倍、4倍、2倍，主要用于融合网络学习过程中的多尺度特征，在多个尺度的感知区域交叉交互，以解决模型的尺度敏感性。
进一步地，所述网络模型的损失函数分成2部分，一个是类内特征聚集模块内包含一个目标中心定位损失函数，采用L1损失函数，另一个是主任务损失函数，分为类别分类损失函数和位置回归损失函数，类别分类损失函数采用焦点损失函数，位置回归损失函数采用smooth L1损失函数。
本发明利用k-means算法聚类特征信息，将目标内部的局部特征之间的距离拉近，高效地加工语义最为丰富的深层信息，使类内视觉特征信息更为集中，利于调整后续融合的特征信息。本发明聚焦类内特征，使特征信息从全局和局部角度更为集中，并且使用跨尺度交叉融合方式解决复杂的目标尺度变化，从而提高了网络模型对结冰情况的检测精度。
实施例4：
一种冷却塔结冰检测识别方法，整个网络模型包括主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器，所述主干网络部分采用通用的VGG16结构，用于提取出具有层次性的特征信息。如图1所示，主干网络部分包括若干个卷积组合块与最大值池化层；网络模型中从前至后依次设置了3个跨尺度交叉融合模块CSCFM1-CSCFM3，所述前端的跨尺度交叉融合模块CSCFM1与主干网络部分末端的卷积组合块连接，且主干网络部分末端的最大值池化层与类内特征增强模块连接，所述类内特征增强模块的输出端分别与跨尺度交叉融合模块CSCFM1-CSCFM3连接。跨尺度交叉融合模块CSCFM2与跨尺度交叉融合模块CSCFM3之间，以及跨尺度交叉融合模块CSCFM3的尾端分别设置有卷积组合块。
整体网络核心处理流程是：首先利用主干网络部分提取出不同层次的特征信息，其次利用类内特征增强模块聚类局部特征，丰富全局特征，益于调整后续融合特征的表达能力和定位能力，然后利用跨尺度交叉融合模块将类内特征增强模块处理之后的特征信息和不同尺度的特征信息进行融合，增加特征的多尺度性，而且为了保持最后输出的特征信息的尺度合适，网络结构中利用两个步长为2的卷积组合模块在跨尺度交叉融合模块之间进行下采样，最后利用检测器有监督地对目标定位识别。所述卷积组合模块包括从前至后依次设置的卷积层C、批归一化层BN、修正线性单元层R。
如图2所示，类内特征增强模块包括若干个卷积组合模块以及变形自注意力模块、类内特征聚集模块、特征相乘层、特征相加层、特征拼接层，用于对特征信息进一步加工，提高全局特征的区分能力，及增强局部类内特征的集中性。卷积组合模块C1-BN1-R1与特征拼接层之间设置有两个分支，其中一个分支上设置有若干个变形自注意力模块，另一个分支上设置有类内特征聚集模块、特征相乘层、特征相加层、卷积组合块C2-BN2-R2。所述特征拼接层之后设置有卷积组合块C3-BN3-R3。如图2所示，所述类内特征聚集模块包括目标中心定位、k-means聚类以及掩码图生成层等三部分，目标中心定位是通过回归的方式找到目标定位框的中心点坐标，然后使用k-means算法将特征信息以中心点为簇进行聚类，并剔除离散点，最后由掩码图生成层按聚类结果生成聚类掩码图。
类内特征增强模块的主要核心思路是：首先利用卷积组合模块降低特征信息的维度，减少参数量，其次分两路处理，一路用串联变形自注意力模块处理特征信息，增强特征信息的全局感知能力，丰富特征信息包含的上下文信息，另一路利用类内特征聚集模块得到聚类掩码图，再通过特征相乘层使输入特征块内部的局部特征之间的距离拉近，使类内特征更为集中，益于检测器区分前景背景，从而提高检测精度，然后利用特征相加层将输入特征块与处理后的特征块叠加，防止特征退化，最后使用特征拼接层将两路特性的特征信息拼接融合，得到表达能力更强的特征信息。
如图3所示，跨尺度交叉融合模块包括若干个卷积层以及特征上采样层、特征拼接层、注意力模块、特征相加层、若干个卷积组合模块。图1中3个跨尺度交叉融合模块CSCFM1-CSCFM3的上采样倍数分别是2倍、4倍、2倍，主要用于融合网络学习过程中的多尺度特征，在多个尺度的感知区域交叉交互，以解决模型的尺度敏感性。如图3所示，前端的跨尺度交叉融合模块CSCFM1的输入分别为F1、F2。F1指类内特征增强模块输出的特征信息，F2指主干网络部分输出的特征信息，首先利用特征上采样层将F1的尺度和F2的尺度统一，其次使用特征拼接层将F1和F2拼接融合，作为查询特征信息，然后利用交叉注意力机制提高特征信息中点与点之间的相关性，特征映射公式如下：
Figure DEST_PATH_IMAGE001
公式中：Fr指代交叉注意力机制处理后的特征信息，
Fc指F1和F2特征经特征拼接层处理之后的特征信息，
ADD表示特征相加层，
SM表示柔性最大值层，
Conv3、Conv4分别表示第三卷积层C3、第四卷积层C4。
最后利用若干个卷积组合模块增强语义性，再输出到下一部分网络。
网络模型搭建完成后，随机初始化模型相关权重参数，预先设置学习率、最大迭代次数等超参数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后从保存的模型中测试择优，得到训练后的网络模型，可以用于检测待测图片中冷却塔结冰情况。
综上所述，本发明通过分析目标特性，从尺度和局部两方面来增强模型对目标的检测识别能力，大大提高了冰块的检测精度。由实验可得，本发明提出的方法与已有的方法相比较，能更好的应对冰块复杂的形态变化，泛化性更强，能准确的定位冰块的位置，及时的可视化给工作人员，方便后续的除冰工作。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种冷却塔结冰检测识别系统，其特征在于，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集不同外界因素条件下冬季冷却塔的图像数据，并标注出冰的定位框核类别标签，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出冷却塔结冰的检测识别结果；
所述网络模型包括从前至后依次设置的主干网络部分、类内特征增强模块、跨尺度交叉融合模块以及检测器，所述主干网络部分用于提取样本具有层次性的特征信息；所述类内特征增强模块用于提高全局特征的区分能力及增强局部类内特征的集中性；所述跨尺度交叉融合模块分别与主干网络部分、类内特征增强模块连接，用于融合多尺度特征；所述检测器用于有监督地对目标定位识别；
所述类内特征增强模块包括第一卷积组合模块、第二卷积组合模块、若干个变形自注意力模块以及类内特征聚集模块、特征相乘层、特征相加层、特征拼接层，所述类内特征聚集模块包括从前至后依次设置的目标中心定位、k-means聚类以及掩码图生成层；所述第一卷积组合模块与特征拼接层之间设置有两个分支，其中一个分支上设置有若干个变形自注意力模块，另一个分支上从前至后依次设置有类内特征聚集模块、特征相乘层、特征相加层、第二卷积组合模块；所述类内特征聚集模块用于得到样本特征块的聚类掩码图，样本的特征块通过特征相乘层与掩码图生成层连接，所述特征相乘层的输出端与样本的特征块通过特征相加层连接。
2.根据权利要求1所述的一种冷却塔结冰检测识别系统，其特征在于，所述主干网络部分包括若干组从前之后依次设置的卷积组合块、最大值池化层，所述网络模型包括3个从前至后依次设置的跨尺度交叉融合模块；所述主干网络部分尾端的卷积组合块与前端的跨尺度交叉融合模块连接，用于输出语义丰富的特征信息至跨尺度交叉融合模块；所述主干网络部分尾端的最大值池化层与类内特征增强模块连接，所述类内特征增强模块分别与3个跨尺度交叉融合模块连接。
3.根据权利要求2所述的一种冷却塔结冰检测识别系统，其特征在于，3个从前至后依次设置的跨尺度交叉融合模块的上采样倍数分别是2倍、4倍、2倍。
4.根据权利要求1-3任一项所述的一种冷却塔结冰检测识别系统，其特征在于，所述跨尺度交叉融合模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、特征上采样层、柔性最大值层、特征拼接层以及若干个卷积组合块；所述类内特征增强模块的输出通过第一卷积层与特征上采样层连接，所述主干网络部分的输出与第二卷积层连接，所述特征上采样层、第二卷积层分别与特征拼接层连接；所述第二卷积层分别与第三卷积层、第四卷积层连接，所述第三卷积层、第四卷积层分别通过特征相乘层与柔性最大值层连接；所述柔性最大值层与特征拼接层通过特征相乘层连接，且特征相乘层通过特征相加层与特征拼接层连接，所述特征相加层的输出端设置有若干个卷积组合块。
5.根据权利要求1所述的一种冷却塔结冰检测识别系统，其特征在于，所述网络模型的损失函数包括类内特征聚集模块内的目标中心定位损失函数以及主任务损失函数，所述主任务损失函数包括类别分类损失函数和位置回归损失函数。
6.根据权利要求5所述的一种冷却塔结冰检测识别系统，其特征在于，所述目标中心定位损失函数采用L1损失函数，所述类别分类损失函数采用焦点损失函数，所述位置回归损失函数采用smooth L1损失函数。
7.一种冷却塔结冰检测识别方法，采用权利要求1-6任一项所述的系统进行，其特征在于，包括以下步骤：
步骤S100：采集不同外界因素条件下冬季冷却塔的视频数据，获取样本图片，并人工标注出冰的定位框核类别标签，并形成训练集、测试集；
步骤S200：搭建网络模型，采用主干网络部分提取出样本的深层特征信息，其次，利用类内特征增强模块从目标中心出发增强全局特征和局部特征，然后，使用跨尺度交叉融合模块提高网络模型的尺度不变性，最后，有监督地得到类别概率值和回归出目标的中心点坐标及定位框的高宽值；
步骤S300：随机初始化网络模型的相关权重参数，预先设置学习率、最大迭代次数，使用训练集训练网络模型，迭代优化计算，直至达到最大迭代次数中止训练，最后采用测试集测试网络模型，从保存的模型中测试择优，得到训练后的网络模型；
步骤S400：将待检测图片输入到训练后的网络模型，并检测输出冷却塔结冰的识别结果。
8.根据权利要求7所述的一种冷却塔结冰检测识别方法，其特征在于，在步骤S200中，所述类内特征增强模块首先利用第一卷积组合模块降低特征信息的维度，减少参数量；其次分两个分支处理，一分支用串联的若干个变形自注意力模块处理特征信息，增强特征信息的全局感知能力；另一分支利用类内特征聚集模块得到聚类掩码图，再通过特征相乘层使输入特征块内部的局部特征之间的距离拉近，使类内特征更为集中，然后利用特征相加层将输入特征块与处理后的特征块叠加，防止特征退化；最后使用特征拼接层将两分支的特征信息拼接融合，得到表达能力更强的特征信息。
9.根据权利要求8所述的一种冷却塔结冰检测识别方法，其特征在于，所述目标中心定位通过回归的方式找到目标定位框的中心点坐标；然后使用k-means算法将特征信息以中心点为簇进行聚类，并剔除离散点；最后由掩码图生成层按聚类结果生成聚类掩码图。
10.一种计算机可读存储介质，存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求7-9任一项所述的方法。
CN202211496229.XA 2022-11-28 2022-11-28 一种冷却塔结冰检测识别系统、方法和存储介质 Active CN115546735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211496229.XA CN115546735B (zh) 2022-11-28 2022-11-28 一种冷却塔结冰检测识别系统、方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211496229.XA CN115546735B (zh) 2022-11-28 2022-11-28 一种冷却塔结冰检测识别系统、方法和存储介质

Publications (2)

Publication Number Publication Date
CN115546735A true CN115546735A (zh) 2022-12-30
CN115546735B CN115546735B (zh) 2023-03-10

Family

ID=84722372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211496229.XA Active CN115546735B (zh) 2022-11-28 2022-11-28 一种冷却塔结冰检测识别系统、方法和存储介质

Country Status (1)

Country Link
CN (1) CN115546735B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797789A (zh) * 2023-02-20 2023-03-14 成都东方天呈智能科技有限公司 基于级联检测器的水稻害虫监测系统、方法和存储介质
CN118096680A (zh) * 2024-02-23 2024-05-28 四川怡田科技有限公司 一种铝材表面细小划痕的缺陷检测方法、系统及存储介质
CN118096680B (zh) * 2024-02-23 2024-10-22 四川怡田科技有限公司 一种铝材表面细小划痕的缺陷检测方法、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN110070074A (zh) * 2019-05-07 2019-07-30 安徽工业大学 一种构建行人检测模型的方法
CN110929578A (zh) * 2019-10-25 2020-03-27 南京航空航天大学 一种基于注意力机制的抗遮挡行人检测方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111652038A (zh) * 2020-04-13 2020-09-11 上海海洋大学 基于卷积神经网络的遥感的海冰图像分类方法
CN113065402A (zh) * 2021-03-05 2021-07-02 四川翼飞视科技有限公司 一种基于变形注意力机制的人脸检测方法
CN113554125A (zh) * 2021-09-18 2021-10-26 四川翼飞视科技有限公司 结合全局与局部特征的目标检测装置、方法和存储介质
CN114549439A (zh) * 2022-02-11 2022-05-27 中北大学 一种基于多模态特征融合的rgb-d图像语义分割方法
CN114863368A (zh) * 2022-07-05 2022-08-05 城云科技（中国）有限公司 用于道路破损检测的多尺度目标检测模型、方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN110070074A (zh) * 2019-05-07 2019-07-30 安徽工业大学 一种构建行人检测模型的方法
CN110929578A (zh) * 2019-10-25 2020-03-27 南京航空航天大学 一种基于注意力机制的抗遮挡行人检测方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111652038A (zh) * 2020-04-13 2020-09-11 上海海洋大学 基于卷积神经网络的遥感的海冰图像分类方法
CN113065402A (zh) * 2021-03-05 2021-07-02 四川翼飞视科技有限公司 一种基于变形注意力机制的人脸检测方法
CN113554125A (zh) * 2021-09-18 2021-10-26 四川翼飞视科技有限公司 结合全局与局部特征的目标检测装置、方法和存储介质
CN114549439A (zh) * 2022-02-11 2022-05-27 中北大学 一种基于多模态特征融合的rgb-d图像语义分割方法
CN114863368A (zh) * 2022-07-05 2022-08-05 城云科技（中国）有限公司 用于道路破损检测的多尺度目标检测模型、方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘又维: "基于机器视觉的输电线路典型金具识别与异常检测研究", 《中国优秀硕士学位 论文全文数据库（电子期刊）》 *
张宇昂等: "一种多特征融合的长文本分类方法", 《中国电子科学研究院学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797789A (zh) * 2023-02-20 2023-03-14 成都东方天呈智能科技有限公司 基于级联检测器的水稻害虫监测系统、方法和存储介质
CN118096680A (zh) * 2024-02-23 2024-05-28 四川怡田科技有限公司 一种铝材表面细小划痕的缺陷检测方法、系统及存储介质
CN118096680B (zh) * 2024-02-23 2024-10-22 四川怡田科技有限公司 一种铝材表面细小划痕的缺陷检测方法、系统及存储介质

Also Published As

Publication number Publication date
CN115546735B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
Ranganathan et al. Towards illumination invariance for visual localization
CN106845496B (zh) 精细目标识别方法和系统
CN112036249B (zh) 端对端行人检测及属性识别的方法、系统、介质及终端
CN115546735B (zh) 一种冷却塔结冰检测识别系统、方法和存储介质
CN113850799A (zh) 一种基于YOLOv5的微量DNA提取工作站工件检测方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
Xu et al. Separation of wood and foliage for trees from ground point clouds using a novel least-cost path model
CN110196886A (zh) 农业面源污染多源异构大数据关联方法及采用该方法的大数据监管平台
CN117392382A (zh) 一种基于多尺度密集实例检测的单木果树分割方法与系统
Jia et al. YOLOF-Snake: An efficient segmentation model for green object fruit
Patel et al. Deep Learning-Based Plant Organ Segmentation and Phenotyping of Sorghum Plants Using LiDAR Point Cloud
Jia et al. Polar-Net: Green fruit instance segmentation in complex orchard environment
CN114419372A (zh) 一种多尺度点云分类方法及系统
CN113723558A (zh) 基于注意力机制的遥感图像小样本舰船检测方法
CN110472092A (zh) 一种街景图片的地理定位方法及系统
CN116403071B (zh) 基于特征重构的少样本混凝土缺陷检测方法及装置
CN117132910A (zh) 一种用于无人机的车辆检测方法、装置及存储介质
CN116912490A (zh) 一种基于分层神经网络的电力杆塔点云分割方法及系统
Zhang et al. Improved YOLOv4 recognition algorithm for pitaya based on coordinate attention and combinational convolution
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
Li et al. [Retracted] PointLAE: A Point Cloud Semantic Segmentation Neural Network via Multifeature Aggregation for Large‐Scale Application
CN113378739A (zh) 一种基于深度学习的地基云状目标检测方法
Vatresia et al. Automatic Fish Identification Using Single Shot Detector
CN114170172B (zh) 一种基于改进的Faster RCNN的棕榈树检测和计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant