CN116091976A - 一种站房缺陷识别检测方法、系统、装置及存储介质 - Google Patents

一种站房缺陷识别检测方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN116091976A
CN116091976A CN202310090318.2A CN202310090318A CN116091976A CN 116091976 A CN116091976 A CN 116091976A CN 202310090318 A CN202310090318 A CN 202310090318A CN 116091976 A CN116091976 A CN 116091976A
Authority
CN
China
Prior art keywords
defect
feature
pooling
online
defect identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310090318.2A
Other languages
English (en)
Inventor
朱天泽
李春鹏
张�浩
王盺平
栾奇麒
杨小平
李军
官国飞
宋庆武
蒋峰
蒋超
赵晟
陈志明
苏俞彪
蒋林岑
徐鹤
季一木
刘尚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Jiangsu Fangtian Power Technology Co Ltd
Original Assignee
Nanjing University of Posts and Telecommunications
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications, Jiangsu Fangtian Power Technology Co Ltd filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310090318.2A priority Critical patent/CN116091976A/zh
Publication of CN116091976A publication Critical patent/CN116091976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种站房缺陷识别检测方法、系统、装置及存储介质，其方法包括：获取站房的在线视频数据；通过OpenCV将在线视频数据的视频流转换为帧，获取在线帧图像；对在线帧图像进行预处理；将预处理后的在线帧图像输入训练好的缺陷识别模型，获取缺陷识别结果；本发明通过在卷积网络特征提取阶段融入BAM注意力机制，同时使用PSPNet全局池化对金字塔池化后的特征通道进行加权融合来保留更多的重要特征信息，对细节的感知能力较强，提高了站房异常检测的精度，对实时监控站房安全具有较高的研究意义。

Description

一种站房缺陷识别检测方法、系统、装置及存储介质
技术领域
本发明涉及一种站房缺陷识别检测方法、系统、装置及存储介质，属于图像识别技术领域。
背景技术
随着电网建设的不断发展和普及，站房的数量也在日益增长。站房的安全问题是电网安防建设的研究重点与热点。站房视频监控系统现已能覆盖站房大部分重要区域，为监控中心提供清晰的视频资源，成为实时监控、异常预警和事后查证的重要依据。但现行的站房视频监控系统的智能化程度较低，内容分析手段主要依靠人工观测，部分站点的视频监控系统具有简易的异常检测功能，异常识别算法存在精度不高的问题，视频分析的主要任务目前仍由人工承担。随着视频采集点数量的增多、监控强度的提升，视频监控系统面临的问题愈发显著，现有的视频监测与分析模式由于投入成本大、信息利用率低，已经不再能够满足现场要求。为了提升视频监控系统的有效性，利用图像处理技术进行自动化的视频内容分析，检测视频异常变得尤为关键。因此，在这个高度信息化的时代，基于计算机视觉设计一种高精度站房缺陷识别检测方法实现，对站房的安全管理进行实时监测，对电网规划、电网运维和管控部门和电力站房跟踪和资源优化配置具有重要的指导意义。
在对站房异常检测方法的研究中，存在视频信息、图像信息、和机器人巡检的仪表、开关状态、指示灯等文本信息，这三种模态的信息对于模型的检测是非常有利的。但目前由于物理、环境因素以及随着时间的流逝，仪表表盘等出现磨损等问题，导致对缺陷识别结果精度较低。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种站房缺陷识别检测方法、系统、装置及存储介质，解决现有技术手段对缺陷识别结果精度较低的技术问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种站房缺陷识别检测方法，包括：
获取站房的在线视频数据；
通过OpenCV将在线视频数据的视频流转换为帧，获取在线帧图像；
对在线帧图像进行预处理；
将预处理后的在线帧图像输入训练好的缺陷识别模型，获取缺陷识别结果。
可选的，所述缺陷识别模型的训练包括：
获取站房的离线视频数据；
通过OpenCV将离线视频数据的视频流转换为帧，获取离线帧图像；
对离线帧图像进行缺陷标注和预处理；
根据缺陷标注和预处理后的离线帧图像生成数据集，并按预设比例将数据集划分为训练集和验证集；
将BAM注意力机制和PSPNet金字塔池化融入ResNet-34网络结构中，构建缺陷识别模型；
通过训练集训练缺陷识别模型，优化模型参数，并通过验证集验证各模型参数对应的缺陷识别模型的效果，选取效果最好的缺陷识别模型作为训练结果。
可选的，所述预处理包括像素亮度变换、几何变换、局部邻域预处理以及图像复原。
可选的，所述将BAM注意力机制融入ResNet-34网络结构中，用于输入图像进行特征提取，所述特征提取包括：
基于卷积网络对输入图像进行特征提取生成特征图F；
通过通道注意力映射对特征图F分别进行全局平均池化和最大池化；
将特征图F全局平均池化和最大池化的池化结果联结输入多层感知机进行相加操作；
通过Sigmoid激活函数对相加操作结果处理生成通道权重系数Mc(F)：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
式中，AvgPool为平均池化，MaxPool为最大池化，MLP为多层感知机，σ为Sigmoid激活函数；
根据通道权重系数Mc(F)对特征图F进行通道权重调整得到特征图F′:
Figure BDA0004070100020000031
通过空间注意力映射对特征图F′分别进行平均池化和最大池化；
将特征图F′平均池化和最大池化的池化结果通过标准卷积层降维处理；
通过Sigmoid激活函数对降维处理结果处理生成空间权重系数Ms(F)：
Ms(F)＝σ{f7×7[AvgPool(F′)；MaxPool(F′)]}
式中：f7×7为卷积核为7×7的标准卷积层；
根据空间权重系数Ms(F)对特征图F′进行空间权重调整得到特征图F″:
Figure BDA0004070100020000034
可选的，所述将PSPNet金字塔池化融入ResNet-34网络结构中，用于对输入特征进行不同尺度融合；所述不同尺度融合包括：
对输入特征采用不同尺寸的金字塔池化操作得到相应尺寸的特征图；
对各尺寸的特征图采用1×1卷积进行降维处理；
对降维处理后的特征图采用双线性插值法进行上采样，使其与输入特征尺寸相同；
将上采样后的特征图按底部到顶部顺序置于输入特征上，通过全局平均池化对各特征通道上的特征点求平均值，根据平均值结果与对应通道矩阵进行数乘获取特征通道的权重系数；
基于权重系数采用1×1卷积对输入特征进行累加求和获取融合特征图：
Figure BDA0004070100020000033
式中，yi为融合特征图上第i特征通道的特征值，N为特征通道数，wi为第i特征通道的权重系数，xi为输入特征上第i特征通道的特征值。
可选的，对融合特征图采样Softmax分类器进行分类预测得到缺陷预测结果。
第二方面，本发明提供了一种站房缺陷识别检测系统，所述系统包括：
第一数据获取模块，用于获取站房的在线视频数据；
第一图像提取模块，用于通过OpenCV将在线视频数据的视频流转换为帧，获取在线帧图像；
第一预处理模块，用于对在线帧图像进行预处理；
缺陷识别模块，用于将预处理后的在线帧图像输入训练好的缺陷识别模型，获取缺陷识别结果。
可选的，还包括：
第二数据获取模块，用于获取站房的离线视频数据；
第二图像提取模块，用于通过OpenCV将离线视频数据的视频流转换为帧，获取离线帧图像；
第二预处理模块，用于对离线帧图像进行缺陷标注和预处理；
数据集构建模块，用于根据缺陷标注和预处理后的离线帧图像生成数据集，并按预设比例将数据集划分为训练集和验证集；
模型构建模块，用于将BAM注意力机制和PSPNet金字塔池化融入ResNet-34网络结构中，构建缺陷识别模型；
模型训练模块，用于通过训练集训练缺陷识别模型，优化模型参数，并通过验证集验证各模型参数对应的缺陷识别模型的效果，选取效果最好的缺陷识别模型作为训练结果。
第三方面，本发明提供了一种站房缺陷识别检测系统，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供了一种站房缺陷识别检测方法、系统、装置及存储介质，用于站房缺陷的高精度检测，针对现有缺陷图像语义分割模型小目标对象分割精度不理想以及目标较小条状区域较难分割，该模型在卷积网络特征提取阶段融入BAM注意力机制，同时使用PSPNet全局池化对金字塔池化后的特征通道进行加权融合来保留更多的重要特征信息，对细节的感知能力较强，提高了站房异常检测的精度，对实时监控站房安全具有较高的研究意义。
附图说明
图1是本发明实施例一提供的一种站房缺陷识别检测方法的流程图；
图2是本发明实施例一提供的缺陷识别模型的训练流程图；
图3是本发明实施例一提供的BAM注意力机制原理图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明实施例提供了一种站房缺陷识别检测方法，包括以下步骤：
S101、获取站房的在线视频数据；
S102、通过OpenCV将在线视频数据的视频流转换为帧，获取在线帧图像；
S103、对在线帧图像进行预处理；
S104、将预处理后的在线帧图像输入训练好的缺陷识别模型，获取缺陷识别结果。
如图2所示，缺陷识别模型的训练包括以下步骤：
S201、获取站房的离线视频数据；
S202、通过OpenCV将离线视频数据的视频流转换为帧，获取离线帧图像；
S203、对离线帧图像进行缺陷标注和预处理；
S204、根据缺陷标注和预处理后的离线帧图像生成数据集，并按预设比例将数据集划分为训练集和验证集；
S205、将BAM注意力机制和PSPNet金字塔池化融入ResNet-34网络结构中，构建缺陷识别模型；
S206、通过训练集训练缺陷识别模型，优化模型参数，并通过验证集验证各模型参数对应的缺陷识别模型的效果，选取效果最好的缺陷识别模型作为训练结果。
在本实施例中，预处理包括像素亮度变换、几何变换、局部邻域预处理以及图像复原。
在本实施例中，如图3所示，将BAM注意力机制融入ResNet-34网络结构中，用于输入图像进行特征提取，特征提取包括以下步骤：
S301、基于卷积网络对输入图像进行特征提取生成特征图F；
S302、通过通道注意力映射对特征图F分别进行全局平均池化和最大池化；
S303、将特征图F全局平均池化和最大池化的池化结果联结输入多层感知机进行相加操作；
S304、通过Sigmoid激活函数对相加操作结果处理生成通道权重系数Mc(F)：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
式中，AvgPool为平均池化，MaxPool为最大池化，MLP为多层感知机，σ为Sigmoid激活函数；
S305、根据通道权重系数Mc(F)对特征图F进行通道权重调整得到特征图F′:
Figure BDA0004070100020000061
S306、通过空间注意力映射对特征图F′分别进行平均池化和最大池化；
S307、将特征图F′平均池化和最大池化的池化结果通过标准卷积层降维处理；
S308、通过Sigmoid激活函数对降维处理结果处理生成空间权重系数Ms(F)：
Ms(F)＝σ{f7×7[AvgPool(F′)；MaxPool(F′)]}
式中：f7×7为卷积核为7×7的标准卷积层；
S309、根据空间权重系数Ms(F)对特征图F′进行空间权重调整得到特征图F″:
Figure BDA0004070100020000071
在本实施例中，将PSPNet金字塔池化融入ResNet-34网络结构中，用于对输入特征进行不同尺度融合；不同尺度融合包括以下步骤：
S401、对输入特征采用不同尺寸的金字塔池化操作得到相应尺寸的特征图；
不同尺寸包括1×1、2×2、3×3、6×6，共四层结构，在第一层为全局平均池化操作，用以提取输入图像的全局上下文特征；第2层、第3层、第4层首先分别将输入划分为2×2、3×3、6×6的子区域，然后分别在这些子区域内使用全局平均池化，提取局部特征。
S402、对各尺寸的特征图采用1×1卷积进行降维处理；
S403、对降维处理后的特征图采用双线性插值法进行上采样，使其与输入特征尺寸相同；
S404、将上采样后的特征图按底部到顶部顺序置于输入特征上，通过全局平均池化对各特征通道上的特征点求平均值，根据平均值结果与对应通道矩阵进行数乘获取特征通道的权重系数；
S405、基于权重系数采用1×1卷积对输入特征进行累加求和获取融合特征图：
Figure BDA0004070100020000072
式中，yi为融合特征图上第i特征通道的特征值，N为特征通道数，wi为第i特征通道的权重系数，xi为输入特征上第i特征通道的特征值。
在获取融合特征图以后，对融合特征图采样Softmax分类器进行分类预测得到缺陷预测结果；在离线阶段，通过缺陷预测结果与缺陷标注结果进行损失计算，优化模型参数；在在线阶段，将缺陷预测结果作为最终的缺陷识别结果。
实施例二：
本发明实施例提供了一种站房缺陷识别检测系统，系统包括：
第一数据获取模块，用于获取站房的在线视频数据；
第一图像提取模块，用于通过OpenCV将在线视频数据的视频流转换为帧，获取在线帧图像；
第一预处理模块，用于对在线帧图像进行预处理；
缺陷识别模块，用于将预处理后的在线帧图像输入训练好的缺陷识别模型，获取缺陷识别结果。
具体的，还包括：
第二数据获取模块，用于获取站房的离线视频数据；
第二图像提取模块，用于通过OpenCV将离线视频数据的视频流转换为帧，获取离线帧图像；
第二预处理模块，用于对离线帧图像进行缺陷标注和预处理；
数据集构建模块，用于根据缺陷标注和预处理后的离线帧图像生成数据集，并按预设比例将数据集划分为训练集和验证集；
模型构建模块，用于将BAM注意力机制和PSPNet金字塔池化融入ResNet-34网络结构中，构建缺陷识别模型；
模型训练模块，用于通过训练集训练缺陷识别模型，优化模型参数，并通过验证集验证各模型参数对应的缺陷识别模型的效果，选取效果最好的缺陷识别模型作为训练结果。
实施例三：
基于实施例一，本发明实施例提供了一种站房缺陷识别检测系统，包括处理器及存储介质；
存储介质用于存储指令；
处理器用于根据指令进行操作以执行上述方法的步骤。
实施例四：
基于实施例一，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种站房缺陷识别检测方法，其特征在于，包括：
获取站房的在线视频数据；
通过OpenCV将在线视频数据的视频流转换为帧，获取在线帧图像；
对在线帧图像进行预处理；
将预处理后的在线帧图像输入训练好的缺陷识别模型，获取缺陷识别结果。
2.根据权利要求1所述的一种站房缺陷识别检测方法，其特征在于，所述缺陷识别模型的训练包括：
获取站房的离线视频数据；
通过OpenCV将离线视频数据的视频流转换为帧，获取离线帧图像；
对离线帧图像进行缺陷标注和预处理；
根据缺陷标注和预处理后的离线帧图像生成数据集，并按预设比例将数据集划分为训练集和验证集；
将BAM注意力机制和PSPNet金字塔池化融入ResNet-34网络结构中，构建缺陷识别模型；
通过训练集训练缺陷识别模型，优化模型参数，并通过验证集验证各模型参数对应的缺陷识别模型的效果，选取效果最好的缺陷识别模型作为训练结果。
3.根据权利要求1所述的一种站房缺陷识别检测方法，其特征在于，所述预处理包括像素亮度变换、几何变换、局部邻域预处理以及图像复原。
4.根据权利要求1所述的一种站房缺陷识别检测方法，其特征在于，所述将BAM注意力机制融入ResNet-34网络结构中，用于输入图像进行特征提取，所述特征提取包括：
基于卷积网络对输入图像进行特征提取生成特征图F；
通过通道注意力映射对特征图F分别进行全局平均池化和最大池化；
将特征图F全局平均池化和最大池化的池化结果联结输入多层感知机进行相加操作；
通过Sigmoid激活函数对相加操作结果处理生成通道权重系数Mc(F)：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
式中，AvgPool为平均池化，MaxPool为最大池化，MLP为多层感知机，σ为Sigmoid激活函数；
根据通道权重系数Mc(F)对特征图F进行通道权重调整得到特征图F′:
Figure FDA0004070099990000021
通过空间注意力映射对特征图F′分别进行平均池化和最大池化；
将特征图F′平均池化和最大池化的池化结果通过标准卷积层降维处理；
通过Sigmoid激活函数对降维处理结果处理生成空间权重系数Ms(F)：
Ms(F)＝σ{f7×7[AvgPool(F′)；MaxPool(F′)]}
式中：f7×7为卷积核为7×7的标准卷积层；
根据空间权重系数Ms(F)对特征图F′进行空间权重调整得到特征图F″:
Figure FDA0004070099990000022
5.根据权利要求1所述的一种站房缺陷识别检测方法，其特征在于，所述将PSPNet金字塔池化融入ResNet-34网络结构中，用于对输入特征进行不同尺度融合；所述不同尺度融合包括：
对输入特征采用不同尺寸的金字塔池化操作得到相应尺寸的特征图；
对各尺寸的特征图采用1×1卷积进行降维处理；
对降维处理后的特征图采用双线性插值法进行上采样，使其与输入特征尺寸相同；
将上采样后的特征图按底部到顶部顺序置于输入特征上，通过全局平均池化对各特征通道上的特征点求平均值，根据平均值结果与对应通道矩阵进行数乘获取特征通道的权重系数；
基于权重系数采用1×1卷积对输入特征进行累加求和获取融合特征图：
Figure FDA0004070099990000031
式中，yi为融合特征图上第i特征通道的特征值，N为特征通道数，wi为第i特征通道的权重系数，xi为输入特征上第i特征通道的特征值。
6.根据权利要求5所述的一种站房缺陷识别检测方法，其特征在于，对融合特征图采样Softmax分类器进行分类预测得到缺陷预测结果。
7.一种站房缺陷识别检测系统，其特征在于，所述系统包括：
第一数据获取模块，用于获取站房的在线视频数据；
第一图像提取模块，用于通过OpenCV将在线视频数据的视频流转换为帧，获取在线帧图像；
第一预处理模块，用于对在线帧图像进行预处理；
缺陷识别模块，用于将预处理后的在线帧图像输入训练好的缺陷识别模型，获取缺陷识别结果。
8.根据权利要求7所述的一种站房缺陷识别检测系统，其特征在于，还包括：
第二数据获取模块，用于获取站房的离线视频数据；
第二图像提取模块，用于通过OpenCV将离线视频数据的视频流转换为帧，获取离线帧图像；
第二预处理模块，用于对离线帧图像进行缺陷标注和预处理；
数据集构建模块，用于根据缺陷标注和预处理后的离线帧图像生成数据集，并按预设比例将数据集划分为训练集和验证集；
模型构建模块，用于将BAM注意力机制和PSPNet金字塔池化融入ResNet-34网络结构中，构建缺陷识别模型；
模型训练模块，用于通过训练集训练缺陷识别模型，优化模型参数，并通过验证集验证各模型参数对应的缺陷识别模型的效果，选取效果最好的缺陷识别模型作为训练结果。
9.一种站房缺陷识别检测系统，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-7任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202310090318.2A 2023-01-31 2023-01-31 一种站房缺陷识别检测方法、系统、装置及存储介质 Pending CN116091976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310090318.2A CN116091976A (zh) 2023-01-31 2023-01-31 一种站房缺陷识别检测方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310090318.2A CN116091976A (zh) 2023-01-31 2023-01-31 一种站房缺陷识别检测方法、系统、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116091976A true CN116091976A (zh) 2023-05-09

Family

ID=86210061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310090318.2A Pending CN116091976A (zh) 2023-01-31 2023-01-31 一种站房缺陷识别检测方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116091976A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893952A (zh) * 2024-03-15 2024-04-16 视睿（杭州）信息科技有限公司 基于深度学习的视频马赛克缺陷检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893952A (zh) * 2024-03-15 2024-04-16 视睿（杭州）信息科技有限公司 基于深度学习的视频马赛克缺陷检测方法

Similar Documents

Publication Publication Date Title
CN107742099A (zh) 一种基于全卷积网络的人群密度估计、人数统计的方法
CN112734692A (zh) 一种变电设备缺陷识别方法及装置
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN113888514A (zh) 导地线缺陷检测方法、装置、边缘计算设备和存储介质
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN113920053A (zh) 基于深度学习的瑕疵检测方法、计算设备和存储介质
Cao et al. YOLO-SF: YOLO for fire segmentation detection
CN116091976A (zh) 一种站房缺陷识别检测方法、系统、装置及存储介质
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN116030050A (zh) 基于无人机与深度学习的风机表面缺陷在线检测分割方法
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN115909157A (zh) 一种基于机器视觉的识别检测方法、装置、设备及介质
CN114219073A (zh) 属性信息的确定方法、装置、存储介质及电子装置
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN116432078A (zh) 建筑楼宇机电设备监测系统
CN114119562B (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及系统
CN112529881B (zh) 一种电力控制柜线缆异常识别方法及装置
Yang et al. A Deep Learning-based Framework for Vehicle License Plate Detection.
CN113706465B (zh) 基于深度学习的笔类缺陷检测方法、计算设备和存储介质
CN118038119A (zh) 一种高空电力作业场景下的安全带佩戴检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination