CN116030050A - 基于无人机与深度学习的风机表面缺陷在线检测分割方法 - Google Patents
基于无人机与深度学习的风机表面缺陷在线检测分割方法 Download PDFInfo
- Publication number
- CN116030050A CN116030050A CN202310300997.1A CN202310300997A CN116030050A CN 116030050 A CN116030050 A CN 116030050A CN 202310300997 A CN202310300997 A CN 202310300997A CN 116030050 A CN116030050 A CN 116030050A
- Authority
- CN
- China
- Prior art keywords
- layer
- feature
- network
- segmentation
- fan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 86
- 230000007547 defect Effects 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000011897 real-time detection Methods 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 9
- 238000000605 extraction Methods 0.000 abstract description 7
- 238000012549 training Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 abstract description 4
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000003709 image segmentation Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 102100022430 Melanocyte protein PMEL Human genes 0.000 description 4
- 108091058557 SILV Proteins 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/72—Wind turbines with rotation axis in wind direction
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于无人机与深度学习的风机表面缺陷在线检测分割方法，该方法引入深度学习神经网络图像检测与分割技术，将图像检测网络与图像分割网络融合，并对其网络结构进行进一步改进，得到的实时检测分割网络RDSS，从大量带有标签的风机表面图像样本中有监督地训练图像数据中的概率分布，提高网络提取图像中提取图像特征的能力，基于改进融合的检测与分割神经网络输出结构，对图像中的风机缺陷特征进行检测与分割多任务，同时利用无人机的图像回传功能，将实时画面作为网络输入，实现基于无人机与深度学习的风机表面缺陷在线检测分割任务。
Description
技术领域
本发明属于计算机视觉领域和风机领域，具体涉及基于无人机与深度学习的风机表面缺陷在线检测分割方法。
背景技术
风能是重要的可持续和再生能源之一，近年来不断得到发展，而风机的事故发生频率也在逐年增加。尽早检测叶片可能发生的损坏，在故障早期及时进行健康运维，可以极大程度降低劳动成本，最小化停机时间、提高风力发电机厂风能收集能力，对风力发电厂长期可靠运行具有重要意义。
图像特征分类方法是根据图像划分子区域的语义信息识别为相应的特征类别，其中语义信息包括颜色、轮廓、纹理等细分特征。传统方法对于特征的表达耗时耗力，往往只能在处理相同且制作精良的部件上可靠运行，但是随着缺陷的种类和数量的增多，传统方法变得越来越复杂。深度神经网络模型的出现推动了质量检测领域的发展，深度神经网络通过训练大量图像得到的具有进步潜力的学习经验，可以快速识别图像中传统机器视觉方法难以捕捉的有效变量，例如：照明、曲面、或视野等，从而完成较复杂工况下复杂特征的可靠识别。
目标分割是在图像特征分类的基础上，通过对图像中每个像素加标签，使得具有相同标签的像素具有某种共同视觉特性，从而将数字图像细分为多个图像子区域，通过简化或改变图像的表示形式，使图像更容易理解和分析。基于深度学习的目标分割可以通过训练大量图像得到具有较高分割精度的，可以在复杂工况与环境影响下，针对具有相同目标特征的不同图像进行高精度分割。
但现有的图像分类识别与目标分割技术，对风机表面图像，尤其是通过无人机采集到的小图基于同一批图像，分别进行识别和分割的效率和精度仍有待提高。
发明内容
为解决现有技术的不足，将目标检测网络与分割网络融合，提高效率的同时，提高分类、分割的精度，并基于无人机与服务端的数据通信链路，将无人机采集的小画面实时传输至训练好的实时检测分割网络，实现高自动化、低成本、快速准确的风机表面缺陷特征的识别；本发明采用如下的技术方案：
基于深度学习的风机表面缺陷在线检测分割方法，包括如下步骤：
步骤S1：获取风机图像并对风机表面特征的区域进行类别标注；
步骤S2：根据标注类别的风机表面特征区域向量数据，生成特征掩模图；
步骤S3：基于风机表面特征区域，获取数字向量，作为实时检测分割网络RDSS（Real-time Detection and Sematic Segmentation）的输入，基于特征掩模图及风机表面特征所属类别，获取标量，作为实时检测分割网络RDSS的分类标签，实时检测分割网络RDSS包括主干网络Backbone、颈部网络Neck和预测网络Detect Head，主干网络对输入的基于图像的数字向量进行多次下采样，将图像局部特征与全局特征进行融合，整合上下文信息，得到多个整合阶段的输出；颈部网络基于多个整合阶段的输出，将多次下采样形成的不同尺度特征图，通过上采样进行多尺度特征融合；预测网络根据多尺度融合得到的特征图，分别进行风机表面缺陷的检测与分割，得到预测的目标缺陷位置、类别，以及特征分割结果，基于预测结果与所述分类标签，训练实时检测分割网络的权重参数，并通过训练好的实时检测分割网络进行风机表面缺陷的检测与分割。
进一步地，所述步骤S1中，基于滑动窗口，在原始风机图像上截取包含风机缺陷特征的区域，得到截取的风机小图。通常风机表面缺陷的区域相对风机其他部分较小，通过滑动窗口截取带有风机缺陷特征的区域，使得目标区域在图像中的比例增大，有助于神经网络对目标特征进行提取，提高推理速度。
进一步地，所述步骤S2中，基于风机缺陷特征的轮廓，进行类型标注，得到轮廓顶点坐标及类别代号，同时根据顶点坐标和类别代号生成特征掩模图。
进一步地，所述步骤S2中，标注每个风机表面特征的轮廓作为其所在区域，且每个表面特征所属类别定义为数值。
进一步地，所述步骤S3中，不同类别的风机表面特征对应不同的像素值，将像素值构成的矩阵作为数字向量。
进一步地，所述步骤S3中，颈部网络利用多次特征金字塔网络（FPN，FeaturePyramid Network）上采样和路径聚合网络（PAN，Path Aggregation Network）下采样，将高层特征信息通过上采样的方式与底层定位信息进行融合，并输入到改进的预测网络中。通过每增加一层增加一次特征金字塔网络上采样与路径聚合网络下采样过程，将得到的更小尺度特征图进行融合，将不同的主干网络输出对不同的预测网络的检测层进行参数聚合，将融合后的不同尺寸特征图输入到后续的输出模块。因为增加了更小尺度的检测输出模块，本发明实施例中，最后网络生成大小为32、64、128、256的多个候选框，通过极大值抑制算法保留置信度较高的目标物体候选框。
主干网络包括依次经切片层Focus、CBL层、3个C3层、CBL层、9个C3层、CBL层、9个C3层、CBL层、3个C3层、快速空间金字塔池化层SPPF，其中，CBL层包括依次连接的卷积层Conv2d、批归一化层BN、渗漏整流单元LeakyReLU；C3层包括依次连接的第一Conv层、瓶颈层Bottleneck、拼接层Concat、第二Conv层，第一Conv层通过第三Conv层与拼接层Concat连接；Conv层包括依次连接的卷积层Conv2d、批归一化层BN、SILU（Sigmoid Linear Unit）激活层；瓶颈层Bottleneck基于两个相互连接的Conv层进行残差连接；快速空间金字塔池化层SPPF包括依次连接的第一CBL层、3个最大池化层Maxpool2d、拼接层Concat、第二CBL层，第一CBL层、各最大池化层Maxpool2d又分别与拼接层Concat连接；
主干网络Focus层的第一3*C3层、第一9*C3层、第二9*C3层、SPPF层的输出分别输入颈部网络，其中SPPF层输出经第一CBL层、上采样层Upsample后，通过第一拼接层Concat与第一9*C3层的输出拼接，再经3*C3层进入第二CBL层、上采样层Upsample后，通过第二拼接层Concat与第一9*C3层拼接，再经3*C3层、第一Conv层、上采样层Upsample后，通过第三拼接层Concat与第一3*C3层拼接，再经第一C3STR层、Conv层，通过第四拼接层Concat与第一Conv层拼接后，进入第二C3STR层、CBL层，通过第五拼接层Concat与第二CBL层拼接后，进入第三C3STR层、CBL层，通过第六拼接层Concat与第一CBL层拼接后，进入第四C3STR层。
进一步地，所述步骤S3中，在颈部网络的各尺度特征融合时，加入一组基于移位窗口的转换（STR，Swin Transformer）模块，用于捕获图像特征的全局信息和上下文信息，基于移位窗口的转换模块包括一组依次连接的移位窗口转换块，每个移位窗口转换块包括窗口化的多头自注意力W-MSA（Windows Multi-head Self-Attention）子层和全连接子层，全连接层采用多层感知机（MLP，Multilayer Perceptron），各子层之间采用残差连接，STR模块增加了捕获不同局部信息的能力，并能利用自注意力机制挖掘特征表征潜能，进而通过捕获图像特征的全局信息和丰富的上下文信息，提高对密集目标的特征提取能力；
基于移位窗口的转换层包括依次连接的第一Conv层、基于移位窗口的转换模块、拼接层Concat、第二Conv层，第一Conv层又通过第三Conv层与拼接层Concat连接；
上一移位窗口转换块的输出，依次经当前移位窗口转换块的层标准化操作、多头自注意力子层后，再将多头自注意力子层的输出与层标准化操作的输出相加，相加结果，再依次经另一层标准化操作、多层感知机后，将多层感知机的输出与另一层标准化操作的输出相加，作为下一移位窗口转换块的输入。
进一步地，所述步骤S3的预测网络中，分割预测基于多尺度融合得到的特征图，构建空间特征金字塔及其对应的深度卷积层，将多尺度特征图统一为固定大小的特征向量进行特征融合，将空间信息特征和上下文特征进行选择和融合，最终输出特征分割图；
所述分割模块包括金字塔池化模块（PPM，Pyramid Pooling Module）、第一Conv层和上采样层Upsample，金字塔池化模块通过CBL层，将各尺度特征图分别经过对应的第二Conv层后，通过特征融合模块FFM融合后，再经第一Conv层和上采样层Upsample输出，得到预测的特征分割图；CBL层包括依次连接的卷积层Conv2d、批归一化层BN、渗漏整流单元LeakyReLU；Conv层包括依次连接的卷积层Conv2d、批归一化层BN、SILU（Sigmoid LinearUnit）激活层。
进一步地，所述特征融合模块包括依次连接的拼接层Concat、第三Conv层、池化层Pooling、第四Conv层、第一激活层SiLU、第五Conv层、第二激活层Sigmoid，第三Conv层和第二激活层Sigmoid分别于乘法层mul连接，进行乘操作，乘法层mul的输出和第三Conv层又分别于加法层add连接，进行加操作，拼接层Concat为特征融合模块的输入，加法层add为特征融合模块的输出。
基于无人机与深度学习的风机表面缺陷在线检测分割方法，构建流媒体服务器，通过无人机采集实时图像，通过流媒体服务器与无人机进行连接，获取实时回传画面，通过所述的基于深度学习的风机表面缺陷在线检测分割方法训练好的实时检测分割网络RDSS，对风机表面缺陷进行实时检测与分割。
本发明的优势和有益效果在于：
本发明通过实时检测分割网络网络将目标分割网络融合到检测网络，基于一个网络实现端到端的目标检测和分割的多任务，从大量的有标签的风机表面图像样本中有监督地学习图像数据中的概率分布，实现提高提取图像中数字特征的能力，保证在更广泛的复杂图像中的分类泛化能力的目的；同时，本发明基于无人机技术与图像回传技术，利用NGINX搭建RTMP服务器，将无人机实时图像回传至本地PC，利用训练好权重的实时检测分割网络网络，针对无人机拍摄产生的多个小目标进行在线处理，从而及时检测出风机表面的损伤区域、损伤类型，以及具体的分割形状，以便进行维修，从而减少风力机灾难性事故，增加风力机的有效工作时间。
附图说明
图1为本发明实施例中基于风机表面缺陷在线检测分割方法的流程图。
图2a为本发明实施例中基于滑动窗口对原始图像进行分割增强的示意图。
图2b为本发明实施例中基于图2a中滑动窗口的放大示意图。
图3为本发明实施例中数据集标签制作示意图。
图4为本发明实施例中RDSS网络总体结构框架示意图。
图5为本发明实施例中Swin Transformer结构示意图。
图6为本发明实施例中空间特征金字塔结构示意图。
图7为本发明实施例中特征融合模块结构示意图。
图8为本发明实施例中基于无人机与深度学习的风机表面缺陷在线检测分割方法流程图。
图9为本发明实施例中基于无人机与深度学习的风机表面缺陷在线检测分割装置机构示意图。
实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，基于深度学习的风机表面缺陷在线检测分割方法，包括如下步骤：
步骤S1：获取风机图像并对风机表面特征的区域进行类别标注。
本发明实施例中，先对真实风机图片进行图像筛选裁剪预处理操作，并标注出图片中显示出的所有表面特征的区域以及每个表面特征所属类别，类别包括涡流发生器面板、涡流发生器面板缺失、锈蚀三类；
基于滑动窗口，在原始风机图像上截取包含风机缺陷特征的区域，得到截取的风机小图。通常风机表面缺陷的区域相对风机其他部分较小，通过滑动窗口截取带有风机缺陷特征的区域，使得目标区域在图像中的比例增大，有助于神经网络对目标特征进行提取，提高推理速度。
本发明实施例中，选取带有清晰表面缺陷特征的真实风机图片，在原始图片中利用1000像素×1000像素的滑动窗口进行截取，获得了一定含有目标特征的1000像素×1000像素的图像，作为训练网络的数据集。
在如图2a所示原始4000像素×3000像素的图像中，目标区域占整体图像区域的比例很小，不利于神经网络对其特征提取，并且会增加神经网络的计算量，减慢推理速度。经过如图2b所示1000像素×1000像素的滑动窗口截取，目标区域占整体图像的比例增大，有助于神经网络对目标特征进行提取，避免过慢的推理速度。
步骤S2：根据标注类别的风机表面特征区域向量数据，生成特征掩模图，图像是由各个像素点的像素值组成，图像中不同表面特征的类别对应不同的像素值，类别包括涡流发生器面板、涡流发生器面板缺失、锈蚀三类。
基于风机缺陷特征的轮廓，进行类型标注，得到轮廓顶点坐标及类别代号，同时根据顶点坐标和类别代号生成特征掩模图。
标注每个风机表面特征的轮廓作为其所在区域，且每个表面特征所属类别定义为数值。
本发明实施例中，如图3所示，对裁剪后的风机图像上的缺陷特征进行轮廓描边，利用异性多边形线对所有特征类型进行提取，并对不同的特征类型用不同的整数来表示。生成的标签只保留多边形各个顶点的坐标以及类别代号，压缩成JSON文件。同时根据顶点坐标和类别代号生成与原图对应的掩模图，设置为PNG格式。
步骤S3：基于风机表面特征区域，获取数字向量，作为实时检测分割网络RDSS（Real-time Detection and Sematic Segmentation）的输入，基于特征掩模图及风机表面特征所属类别，获取标量，作为实时检测分割网络RDSS的分类标签，从大量带有标签的风机表面图像样本中有监督地训练图像数据中的概率分布，如图4所示，实时检测分割网络RDSS包括主干网络Backbone、颈部网络Neck和预测网络Detect Head，主干网络对输入的基于图像的数字向量进行多次下采样，将图像局部特征与全局特征进行融合，整合上下文信息，得到多个整合阶段的输出；颈部网络基于多个整合阶段的输出，将多次下采样形成的不同尺度特征图，通过上采样进行多尺度特征融合；预测网络根据多尺度融合得到的特征图，分别进行风机表面缺陷的检测与分割，得到预测的目标缺陷位置、类别，以及特征分割结果，基于预测结果与真实的分类标签，训练实时检测分割网络的权重参数，并通过训练好的实时检测分割网络进行风机表面缺陷的检测与分割。
不同类别的风机表面特征对应不同的像素值，将像素值构成的矩阵作为数字向量。
本发明实施例中，将步骤S2得到的所有风机图片中的风机表面特征的区域、特征掩模图以及该表面特征所属类别分别抽象为数字向量和标量，具体地，通过风机表面特征的区域，得到该区域的像素值，将像素值构成的矩阵作为数字向量，将特征掩模图、风机表面特征所属类别作为标量，数字向量作为RDSS网络的输入，标量作为RDSS网络分类的对照标签。
RDSS网络选取YOLOv5作为图像检测和分割的基础网络，并对网络特征提取结构与输出结构进行改进增强，同时将分割输出结构与YOLOv5检测输出结构进行融合，得到具有目标检测和分割的输出结构的多任务神经网络。RDSS网络的结构由主干网络、改进的颈部网络、预测网络三部分串联而成；主干网络用于对图像进行多次下采样，将图像局部特征与全局特征进行融合，整合上下文信息。改进的颈部网络用于将整合的全局信息特征图进行多次下采样形成不同尺度特征图，再经过上采样进行多尺度特征融合，输出到不同尺度的预测网络。预测网络根据前述网络得到的多尺度特征图进行叶片表面缺陷检测与分割，得到预测的目标缺陷位置、类别信息，以及局部特征分割结果。具体地，图像进入主干网络后，依次经切片层Focus、CBL层、3个C3层、CBL层、9个C3层、CBL层、9个C3层、CBL层、3个C3层、快速空间金字塔池化层SPPF后输出至颈部网络，其中，CBL层包括依次连接的卷积层Conv2d、批归一化层BN、渗漏整流单元LeakyReLU；C3层包括依次连接的第一Conv层、瓶颈层Bottleneck、拼接层Concat、第二Conv层，第一Conv层通过第三Conv层与拼接层Concat连接；Conv层包括依次连接的卷积层Conv2d、批归一化层BN、SILU（Sigmoid Linear Unit）激活层；瓶颈层Bottleneck基于两个相互连接的Conv层进行残差连接；快速空间金字塔池化层SPPF包括依次连接的第一CBL层、3个最大池化层Maxpool2d、拼接层Concat、第二CBL层，第一CBL层、各最大池化层Maxpool2d又分别与拼接层Concat连接。
在颈部网络的各尺度特征融合时，加入一组基于移位窗口的转换（STR，SwinTransformer）模块，用于捕获图像特征的全局信息和上下文信息，基于移位窗口的转换模块包括一组依次连接的移位窗口转换块，每个移位窗口转换块包括窗口化的多头自注意力W-MSA（Windows Multi-head Self-Attention）子层和全连接子层，全连接层采用多层感知机（MLP，Multilayer Perceptron），各子层之间采用残差连接，STR模块增加了捕获不同局部信息的能力，并能利用自注意力机制挖掘特征表征潜能，进而通过捕获图像特征的全局信息和丰富的上下文信息，提高对密集目标的特征提取能力。如图4所示，C3STR层包括依次连接的第一Conv层、基于移位窗口的转换模块、拼接层Concat、第二Conv层，第一Conv层又通过第三Conv层与拼接层Concat连接。如图5所示，上一移位窗口转换块的输出，依次经当前移位窗口转换块的层标准化操作LN、多头自注意力子层W-MSA后，再将多头自注意力子层W-MSA的输出与层标准化操作LN的输出相加，相加结果，再依次经另一层标准化操作LN、多层感知机MLP后，将多层感知机MLP的输出与另一层标准化操作LN的输出相加，作为下一移位窗口转换块的输入。LN（Layer Normalization）表示层标准化操作，l表示层数，Z表示MLP子层的输出特征，表示W-MSA层的输出特征。
颈部网络利用四次特征金字塔网络（FPN，Feature Pyramid Network）上采样和路径聚合网络（PAN，Path Aggregation Network）下采样，将高层特征信息通过上采样的方式与底层定位信息进行融合，并输入到改进的预测网络中。通过增加一层增加一次特征金字塔网络上采样与路径聚合网络下采样过程，得到的更小尺度特征图进行融合，将不同的主干网络输出对不同的预测网络的检测层进行参数聚合，将融合后的不同尺寸特征图输入到后续的输出模块。因为增加了更小尺度的检测输出模块，本发明实施例中，最后网络生成大小为32、64、128、256的多个候选框，通过极大值抑制算法保留置信度较高的目标物体候选框。
如图4所示，主干网络Focus层的第一3*C3层、第一9*C3层、第二9*C3层、SPPF层的输出分别输入颈部网络，其中SPPF层输出经第一CBL层、上采样层Upsample后，通过第一拼接层Concat与第一9*C3层的输出拼接，再经3*C3层进入第二CBL层、上采样层Upsample后，通过第二拼接层Concat与第一9*C3层拼接，再经3*C3层、第一Conv层、上采样层Upsample后，通过第三拼接层Concat与第一3*C3层拼接，再经第一C3STR层、Conv层，通过第四拼接层Concat与第一Conv层拼接后，进入第二C3STR层、CBL层，通过第五拼接层Concat与第二CBL层拼接后，进入第三C3STR层、CBL层，通过第六拼接层Concat与第一CBL层拼接后，进入第四C3STR层，数字0至30表示数据流经各模块的顺序。
预测网络中的分割预测，基于多尺度融合得到的特征图，构建空间特征金字塔及其对应的深度卷积层，将多尺度特征图统一为固定大小的特征向量进行特征融合，将空间信息特征和上下文特征进行选择和融合，最终输出特征分割图。
本发明实施例中，颈部网络将原始YOLOv5网络各尺度特征融合层的结果一同输出到改进的预测网络的分割预测模块，进行分割预测。分割模块由空间特征金字塔以及深度卷积层串联而成。如图6所示，分割模块包括金字塔池化模块、第一Conv层和上采样层Upsample，金字塔池化模块通过CBL层，将各尺度特征图分别经过对应的第二Conv层后，通过特征融合模块FFM（Feature Fusion Module）融合后，再经第一Conv层和上采样层Upsample输出，得到预测的特征分割图；CBL层包括依次连接的卷积层Conv2d、批归一化层BN、渗漏整流单元LeakyReLU；Conv层包括依次连接的卷积层Conv2d、批归一化层BN、SILU（Sigmoid Linear Unit）激活层。如图7所示，全局特征金字塔模块中加入了特征融合模块，特征融合模块包括依次连接的拼接层Concat、第三Conv层、池化层Pooling、第四Conv层、第一激活层SiLU、第五Conv层、第二激活层Sigmoid，第三Conv层和第二激活层Sigmoid分别于乘法层mul连接，进行乘操作，乘法层mul的输出和第三Conv层又分别于加法层add连接，进行加操作，拼接层Concat为特征融合模块的输入，加法层add为特征融合模块的输出。最终输出与原图像尺寸相同的特征分割图。
如图8所示，基于无人机与深度学习的风机表面缺陷在线检测分割方法，构建流媒体服务器，通过无人机采集实时图像，通过流媒体服务器与无人机进行连接，获取实时回传画面，通过基于深度学习的风机表面缺陷在线检测分割方法训练好的实时检测分割网络RDSS，对风机表面缺陷进行实时检测与分割。
本发明实施例中，利用NGINX（即engine x，是一个高性能的HTTP和反向代理web服务器）搭建RTMP（Real Time Messaging Protocol）流媒体服务器，搭建完成启动NGINX后，通过无人机的图像采集模块，实时采集图像，利用无人机自定义直播功能，与搭建的RTMP流媒体服务器进行连接，实现无人机实时画面回传，将搭建的RTMP服务器与训练好权重参数的检测网络进行连接，将无人机实时画面作为网络输入进行图像缺陷特征的检测与分割，进行实时叶片表面缺陷检测和分割。
与前述基于无人机与深度学习的风机表面缺陷在线检测分割方法的实施例相对应，本发明还提供了基于无人机与深度学习的风机表面缺陷在线检测分割装置的实施例。
参见图9，本发明实施例提供的基于无人机与深度学习的风机表面缺陷在线检测分割装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的基于无人机与深度学习的风机表面缺陷在线检测分割方法。
本发明基于无人机与深度学习的风机表面缺陷在线检测分割装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为本发明基于无人机与深度学习的风机表面缺陷在线检测分割装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于无人机与深度学习的风机表面缺陷在线检测分割方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.基于深度学习的风机表面缺陷在线检测分割方法，其特征在于包括如下步骤：
步骤S1：获取风机图像并对风机表面特征的区域进行类别标注；
步骤S2：根据标注类别的风机表面特征区域向量数据，生成特征掩模图；
步骤S3：基于风机表面特征区域，获取数字向量，作为实时检测分割网络的输入，基于特征掩模图及风机表面特征所属类别，获取标量，作为实时检测分割网络的分类标签，实时检测分割网络包括主干网络、颈部网络和预测网络，主干网络对输入的数字向量进行多次下采样，将图像局部特征与全局特征进行融合，整合上下文信息，得到多个整合阶段的输出；颈部网络基于多个整合阶段的输出，将多次下采样形成的不同尺度特征图，通过上采样进行多尺度特征融合；预测网络根据多尺度融合得到的特征图，分别进行风机表面缺陷的检测与分割，得到预测的目标缺陷位置、类别，以及特征分割结果，基于预测结果与所述分类标签，训练实时检测分割网络，并通过训练好的实时检测分割网络进行风机表面缺陷的检测与分割。
2.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S1中，基于滑动窗口，在原始风机图像上截取包含风机缺陷特征的区域，得到截取的风机小图。
3.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S2中，基于风机缺陷特征的轮廓，进行类型标注，得到轮廓顶点坐标及类别，同时根据顶点坐标和类别生成特征掩模图。
4.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S2中，标注每个风机表面特征的轮廓作为其所在区域，且每个表面特征所属类别定义为数值。
5.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S3中，不同类别的风机表面特征对应不同的像素值，将像素值构成的矩阵作为数字向量。
6.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S3中，颈部网络利用多次特征金字塔网络上采样和路径聚合网络下采样，将高层特征信息通过上采样的方式与底层定位信息进行融合，并输入到改进的预测网络中。
7.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S3中，在颈部网络的各尺度特征融合时，加入一组基于移位窗口的转换模块，用于捕获图像特征的全局信息和上下文信息，基于移位窗口的转换模块包括一组依次连接的移位窗口转换块，每个移位窗口转换块包括窗口化的多头自注意力子层和全连接子层，全连接层采用多层感知机，各子层之间采用残差连接；
上一移位窗口转换块的输出，依次经当前移位窗口转换块的层标准化操作、多头自注意力子层后，再将多头自注意力子层的输出与层标准化操作的输出相加，相加结果，再依次经另一层标准化操作、多层感知机后，将多层感知机的输出与另一层标准化操作的输出相加，作为下一移位窗口转换块的输入。
8.根据权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述步骤S3的预测网络中，分割预测基于多尺度融合得到的特征图，构建空间特征金字塔及其对应的深度卷积层，将多尺度特征图统一为固定大小的特征向量进行特征融合，将空间信息特征和上下文特征进行选择和融合，最终输出特征分割图；
所述分割模块包括金字塔池化模块、第一Conv层和上采样层，金字塔池化模块通过CBL层，将各尺度特征图分别经过对应的第二Conv层后，通过特征融合模块融合后，再经第一Conv层和上采样层输出，得到预测的特征分割图；CBL层包括依次连接的卷积层、批归一化层、渗漏整流单元；Conv层包括依次连接的卷积层、批归一化层、激活层。
9.根据权利要求8所述的基于深度学习的风机表面缺陷在线检测分割方法，其特征在于：所述特征融合模块包括依次连接的拼接层、第三Conv层、池化层、第四Conv层、第一激活层、第五Conv层、第二激活层Sigmoid，第三Conv层和第二激活层Sigmoid分别于乘法层连接，进行乘操作，乘法层的输出和第三Conv层又分别于加法层连接，进行加操作，拼接层为特征融合模块的输入，加法层为特征融合模块的输出。
10.基于无人机与深度学习的风机表面缺陷在线检测分割方法，其特征在于：构建流媒体服务器，通过无人机采集实时图像，通过流媒体服务器与无人机进行连接，获取实时回传画面，通过权利要求1所述的基于深度学习的风机表面缺陷在线检测分割方法训练好的实时检测分割网络，对风机表面缺陷进行实时检测与分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310300997.1A CN116030050A (zh) | 2023-03-27 | 2023-03-27 | 基于无人机与深度学习的风机表面缺陷在线检测分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310300997.1A CN116030050A (zh) | 2023-03-27 | 2023-03-27 | 基于无人机与深度学习的风机表面缺陷在线检测分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116030050A true CN116030050A (zh) | 2023-04-28 |
Family
ID=86077869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310300997.1A Pending CN116030050A (zh) | 2023-03-27 | 2023-03-27 | 基于无人机与深度学习的风机表面缺陷在线检测分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030050A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862915A (zh) * | 2023-09-05 | 2023-10-10 | 西南石油大学 | 一种风机内部视频流缺陷识别方法 |
| CN118196041A (zh) * | 2024-03-22 | 2024-06-14 | 浙江大学 | 基于无人机与深度学习的风机表面缺陷在线检测量化方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418176A (zh) * | 2020-12-09 | 2021-02-26 | 江西师范大学 | 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法 |
| CN112884788A (zh) * | 2021-03-08 | 2021-06-01 | 中南大学 | 基于丰富上下文网络的视杯视盘分割方法及成像方法 |
| CN114187268A (zh) * | 2021-12-04 | 2022-03-15 | 北京工业大学 | 基于目标检测和语义分割融合的障碍物检测方法 |
| CN114782417A (zh) * | 2022-06-16 | 2022-07-22 | 浙江大学 | 基于边缘强化图像分割的风机数字孪生特征实时检测方法 |
| CN115705637A (zh) * | 2021-08-11 | 2023-02-17 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于改进YOLOv5模型的丝饼缺陷检测方法 |
| CN115797808A (zh) * | 2022-12-01 | 2023-03-14 | 江苏方天电力技术有限公司 | 一种无人机巡检缺陷图像的识别方法、系统、装置及介质 |
-
2023
- 2023-03-27 CN CN202310300997.1A patent/CN116030050A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418176A (zh) * | 2020-12-09 | 2021-02-26 | 江西师范大学 | 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法 |
| CN112884788A (zh) * | 2021-03-08 | 2021-06-01 | 中南大学 | 基于丰富上下文网络的视杯视盘分割方法及成像方法 |
| CN115705637A (zh) * | 2021-08-11 | 2023-02-17 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于改进YOLOv5模型的丝饼缺陷检测方法 |
| CN114187268A (zh) * | 2021-12-04 | 2022-03-15 | 北京工业大学 | 基于目标检测和语义分割融合的障碍物检测方法 |
| CN114782417A (zh) * | 2022-06-16 | 2022-07-22 | 浙江大学 | 基于边缘强化图像分割的风机数字孪生特征实时检测方法 |
| CN115797808A (zh) * | 2022-12-01 | 2023-03-14 | 江苏方天电力技术有限公司 | 一种无人机巡检缺陷图像的识别方法、系统、装置及介质 |
Non-Patent Citations (2)
| Title |
|---|
| XINGKUI ZHU ET AL.: "TPH-YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone-captured Scenarios", 《2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW)》, pages 2778 - 2788 * |
| 乔炎 等: "改进YOLOv5的安全帽佩戴检测算法", 《计算机工程与应用》, pages 2 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862915A (zh) * | 2023-09-05 | 2023-10-10 | 西南石油大学 | 一种风机内部视频流缺陷识别方法 |
| CN118196041A (zh) * | 2024-03-22 | 2024-06-14 | 浙江大学 | 基于无人机与深度学习的风机表面缺陷在线检测量化方法 |
| CN118196041B (zh) * | 2024-03-22 | 2024-10-11 | 浙江大学 | 基于无人机与深度学习的风机表面缺陷在线检测量化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN111696075A (zh) | 一种基于双光谱图像的风机叶片缺陷智能检测方法 | |
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN116030050A (zh) | 基于无人机与深度学习的风机表面缺陷在线检测分割方法 | |
| CN110264440B (zh) | 基于深度学习的大规模列车移位故障检测方法及系统 | |
| CN113962274B (zh) | 一种异常识别方法、装置、电子设备及存储介质 | |
| CN114332473B (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
| Geng et al. | An improved helmet detection method for YOLOv3 on an unbalanced dataset | |
| CN114170144A (zh) | 一种输电线路销钉缺陷检测方法、设备及介质 | |
| Arya et al. | Object detection using deep learning: A review | |
| CN113487610A (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN114972880A (zh) | 一种标签识别方法、装置、电子设备及存储介质 | |
| Li et al. | Deep learning-based defects detection of certain aero-engine blades and vanes with DDSC-YOLOv5s | |
| CN112001317A (zh) | 基于语义信息的导线缺陷识别方法、系统及终端设备 | |
| CN118196309B (zh) | 基于图像处理工控机的高清视觉检测识别系统 | |
| CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
| CN115601675A (zh) | 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法 | |
| He et al. | An adaptive detection approach for multi-scale defects on wind turbine blade surface | |
| CN113269052A (zh) | 价签识别方法、终端、存储装置 | |
| Ma et al. | Wind Turbine Blade Defect Detection Algorithm Based on Lightweight MES-YOLOv8n | |
| Sheng et al. | A YOLOX-Based Detection Method of Triple-Cascade Feature Level Fusion for Power System External Defects | |
| CN116109607B (zh) | 一种基于图像分割的输电线路工程缺陷检测方法 | |
| CN114418001B (zh) | 一种基于参数重构网络的字符识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230428 |
|
| RJ01 | Rejection of invention patent application after publication |