CN115564766A - 水轮机蜗壳座环的制备方法及其系统 - Google Patents

水轮机蜗壳座环的制备方法及其系统 Download PDF

Info

Publication number
CN115564766A
CN115564766A CN202211398895.XA CN202211398895A CN115564766A CN 115564766 A CN115564766 A CN 115564766A CN 202211398895 A CN202211398895 A CN 202211398895A CN 115564766 A CN115564766 A CN 115564766A
Authority
CN
China
Prior art keywords
welding
training
feature map
seat ring
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211398895.XA
Other languages
English (en)
Other versions
CN115564766B (zh
Inventor
白洪华
万小健
周长安
雷进波
李明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zhenxing Axiang Group Co ltd
Original Assignee
Zhejiang Zhenxing Axiang Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zhenxing Axiang Group Co ltd filed Critical Zhejiang Zhenxing Axiang Group Co ltd
Priority to CN202211398895.XA priority Critical patent/CN115564766B/zh
Publication of CN115564766A publication Critical patent/CN115564766A/zh
Application granted granted Critical
Publication of CN115564766B publication Critical patent/CN115564766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/20—Hydro energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了一种水轮机蜗壳座环的制备方法及其系统，其采用基于深度学习的人工智能检测技术，以焊接后水轮机蜗壳座环的检测图像作为输入数据来提取出所述检测图像中聚焦于焊接区域的多个浅层隐含特征，进一步再对其进行环境去噪的图像清晰度增强处理，并利用深层特征融合的思想来进一步提取出水轮机蜗壳座环焊接区域的质量特征，以此来进行水轮机蜗壳座环表面的缺陷检测。这样，降低蜗壳座环出现裂纹的风险，优化水轮机蜗壳座环的制备过程。

Description

水轮机蜗壳座环的制备方法及其系统
技术领域
本申请涉及水轮机制备技术领域，且更为具体地，涉及一种水轮机蜗壳座环的制备方法及其系统。
技术背景
座环、蜗壳是混流式水轮机埋入部分的两大部件,它们既是机组的基础件,又是机组通流部件的组成部分,它们承受着随机组运行工况改变而变化的水压分布载荷以及从顶盖传导过来的作用力。座环一般为上、下环板和固定导叶等组成的焊接结构。蜗壳采用钢板焊接,其包角一般介于345一360范围以内。蜗壳通过与座环上、下环板的外缘上碟形边或过渡板焊接成一整体,其焊缝需要严格探伤检查,必要时还需要进行水压试验。
鉴于水轮机蜗壳座环的焊接难度大，容易出现裂纹等缺陷，若不对焊接后的水轮机蜗壳座环进行缺陷检测，会存在着安全风险，并且还将影响抽水蓄能水电站的推广，也影响我国碳达峰、碳中和的目标。目前，现有的焊接缺陷检测方案大部分都是依靠人工进行外观检测和仪器进行密封性检测，这样的检测方案不仅会浪费大量的人力物力资源，还会造成检测的结果不准确，不能很好地满足现今的水轮机蜗壳座环的焊接质量智能检测目标。
因此，期望一种水轮机蜗壳座环的制备方案，其能够对于焊接后水轮机蜗壳座环进行智能缺陷检测，以降低蜗壳座环出现裂纹的风险，提高了生成安全性。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种水轮机蜗壳座环的制备方法及其系统，其采用基于深度学习的人工智能检测技术，以焊接后水轮机蜗壳座环的检测图像作为输入数据来提取出所述检测图像中聚焦于焊接区域的多个浅层隐含特征，进一步再对其进行环境去噪的图像清晰度增强处理，并利用深层特征融合的思想来进一步提取出水轮机蜗壳座环焊接区域的质量特征，以此来进行水轮机蜗壳座环表面的缺陷检测。这样，降低蜗壳座环出现裂纹的风险，优化水轮机蜗壳座环的制备过程。
根据本申请的一个方面，提供了一种水轮机蜗壳座环的制备方法，其包括：
获取焊接后水轮机蜗壳座环的检测图像；
将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域；
将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域；
将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。
在上述水轮机蜗壳座环的制备方法中，所述焊接区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述水轮机蜗壳座环的制备方法中，所述将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域，包括：将所述检测图像通过所述焊接区域目标检测网络的多层卷积层以得到检测特征图；以及，使用所述焊接区域目标检测网络的目标锚定层以如下公式对所述检测特征图进行处理以得到所述焊接感兴趣区域；其中，所述公式为：
Dets＝H(ψdet,B)＝(cls(ψdet,B)，Regr(ψdet,B))
其中，ψdet为检测特征图，B表示锚窗、cls(ψdet,B)表示分类函数、Regr(ψdet,B)表示回归函数。
在上述水轮机蜗壳座环的制备方法中，所述对抗生成网络包括鉴别器和生成器；其中，所述将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域，包括：将所述焊接感兴趣区域输入所述基于对抗生成网络的图像清晰度增强器的生成器以由所述生成器对所述焊接感兴趣区域进行反卷积处理以得到所述生成焊接感兴趣区域。
在上述水轮机蜗壳座环的制备方法中，所述将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图，包括：从所述包含深浅融合模块的卷积神经网络模型的第M层提取浅层特征图，其中，M大于等于1且小于等于6；从所述包含深浅融合模块的卷积神经网络模型的第N层提取深层特征图，其中，N/M大于等于5且小于等于10；以及，使用所述包含深浅融合模块的卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到分类特征图。
在上述水轮机蜗壳座环的制备方法中，所述将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中Project(F)表示将所述分类矩阵图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
在上述水轮机蜗壳座环的制备方法中，还包括训练步骤：对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练。
在上述水轮机蜗壳座环的制备方法中，所述训练步骤，包括：获取训练数据，所述训练数据包括焊接后水轮机蜗壳座环的训练检测图像，以及，所述焊接后水轮机蜗壳座环是否存在表面缺陷的真实值；将所述训练检测图像通过所述焊接区域目标检测网络以得到训练焊接感兴趣区域；将所述训练焊接感兴趣区域通过所述基于对抗生成网络的图像清晰度增强器以得到训练生成焊接感兴趣区域；将所述训练生成焊接感兴趣区域通过所述包含深浅融合模块的卷积神经网络模型以得到训练浅层特征图和训练深层特征图；融合所述训练浅层特征图和训练深层特征图以得到训练分类特征图；将所述训练分类特征图通过所述分类器以得到分类损失函数值；基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及，计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练。
在上述水轮机蜗壳座环的制备方法中，所述基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值，包括：基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离以如下公式计算所述序列对序列响应规则内在化学习损失函数值；其中，所述公式为：
Figure BDA0003934385960000041
Figure BDA0003934385960000042
Figure BDA0003934385960000043
其中，V1是所述训练浅层特征图投影后得到的特征向量，V2是所述训练深层特征图投影后得到的特征向量，且W1和W2分别是所述分类器对于所述训练浅层特征图投影后得到的特征向量和所述训练深层特征图投影后得到的特征向量的权重矩阵，ReLU(·)表示ReLU激活函数，Sigmoid(·)表示Sigmoid激活函数，
Figure BDA0003934385960000044
表示矩阵相乘，d(·,·)表示两个向量之间的欧式距离。
根据本申请的另一方面，提供了一种水轮机蜗壳座环的制备系统，包括：
数据采集单元，用于获取焊接后水轮机蜗壳座环的检测图像；
目标检测单元，用于将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域；
图像增强单元，用于将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域；
深浅融合编码单元，用于将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及
检测结果生成单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。
在上述水轮机蜗壳座环的制备系统中，所述焊接区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述水轮机蜗壳座环的制备系统中，所述目标检测单元，进一步用于：将所述检测图像通过所述焊接区域目标检测网络的多层卷积层以得到检测特征图；以及，使用所述焊接区域目标检测网络的目标锚定层以如下公式对所述检测特征图进行处理以得到所述焊接感兴趣区域；其中，所述公式为：
Dets＝H(ψdet,B)＝(cls(ψdet,B)，Regr(ψdet,B))
其中，ψdet为检测特征图，B表示锚窗、cls(ψdet,B)表示分类函数、Regr(ψdet,B)表示回归函数。
在上述水轮机蜗壳座环的制备系统中，所述对抗生成网络包括鉴别器和生成器；其中，所述图像增强单元，进一步用于：将所述焊接感兴趣区域输入所述基于对抗生成网络的图像清晰度增强器的生成器以由所述生成器对所述焊接感兴趣区域进行反卷积处理以得到所述生成焊接感兴趣区域。
在上述水轮机蜗壳座环的制备系统中，所述深浅融合编码单元，进一步用于：从所述包含深浅融合模块的卷积神经网络模型的第M层提取浅层特征图，其中，M大于等于1且小于等于6；从所述包含深浅融合模块的卷积神经网络模型的第N层提取深层特征图，其中，N/M大于等于5且小于等于10；以及，使用所述包含深浅融合模块的卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到分类特征图。
在上述水轮机蜗壳座环的制备系统中，所述检测结果生成单元，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中Project(F)表示将所述分类矩阵图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
在上述水轮机蜗壳座环的制备系统中，还包括用于对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练的训练模块。
在上述水轮机蜗壳座环的制备系统中，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括焊接后水轮机蜗壳座环的训练检测图像，以及，所述焊接后水轮机蜗壳座环是否存在表面缺陷的真实值；训练目标检测单元，用于将所述训练检测图像通过所述焊接区域目标检测网络以得到训练焊接感兴趣区域；训练图像增强单元，用于将所述训练焊接感兴趣区域通过所述基于对抗生成网络的图像清晰度增强器以得到训练生成焊接感兴趣区域；深浅特征编码单元，用于将所述训练生成焊接感兴趣区域通过所述包含深浅融合模块的卷积神经网络模型以得到训练浅层特征图和训练深层特征图；融合单元，用于融合所述训练浅层特征图和训练深层特征图以得到训练分类特征图；分类损失单元，用于将所述训练分类特征图通过所述分类器以得到分类损失函数值；内在化学习损失单元，用于基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及，训练单元，用于计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练。
在上述水轮机蜗壳座环的制备系统中，所述内在化学习损失单元，进一步用于：基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离以如下公式计算所述序列对序列响应规则内在化学习损失函数值；其中，所述公式为：
Figure BDA0003934385960000061
Figure BDA0003934385960000062
Figure BDA0003934385960000063
其中，V1是所述训练浅层特征图投影后得到的特征向量，V2是所述训练深层特征图投影后得到的特征向量，且W1和W2分别是所述分类器对于所述训练浅层特征图投影后得到的特征向量和所述训练深层特征图投影后得到的特征向量的权重矩阵，ReLU(·)表示ReLU激活函数，Sigmoid(·)表示Sigmoid激活函数，
Figure BDA0003934385960000064
表示矩阵相乘，d(·,·)表示两个向量之间的欧式距离。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的水轮机蜗壳座环的制备方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的水轮机蜗壳座环的制备方法。
与现有技术相比，本申请提供的水轮机蜗壳座环的制备方法及其系统，其采用基于深度学习的人工智能检测技术，以焊接后水轮机蜗壳座环的检测图像作为输入数据来提取出所述检测图像中聚焦于焊接区域的多个浅层隐含特征，进一步再对其进行环境去噪的图像清晰度增强处理，并利用深层特征融合的思想来进一步提取出水轮机蜗壳座环焊接区域的质量特征，以此来进行水轮机蜗壳座环表面的缺陷检测。这样，降低蜗壳座环出现裂纹的风险，优化水轮机蜗壳座环的制备过程。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的水轮机蜗壳座环的制备方法的应用场景图。
图2为根据本申请实施例的水轮机蜗壳座环的制备方法的流程图。
图3为根据本申请实施例的水轮机蜗壳座环的制备方法的架构图。
图4为根据本申请实施例的水轮机蜗壳座环的制备方法中对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练的流程图。
图5为根据本申请实施例的水轮机蜗壳座环的制备系统的框图。
图6为根据本申请实施例的水轮机蜗壳座环的制备系统中训练模块的框图。
图7为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上述背景技术所言，座环、蜗壳是混流式水轮机埋入部分的两大部件,它们既是机组的基础件,又是机组通流部件的组成部分,它们承受着随机组运行工况改变而变化的水压分布载荷以及从顶盖传导过来的作用力。座环一般为上、下环板和固定导叶等组成的焊接结构。蜗壳采用钢板焊接,其包角一般介于345到360范围以内。蜗壳通过与座环上、下环板的外缘上碟形边或过渡板焊接成一整体,其焊缝需要严格探伤检查,必要时还需要进行水压试验。
鉴于水轮机蜗壳座环的焊接难度大，容易出现裂纹等缺陷，若不对焊接后的水轮机蜗壳座环进行缺陷检测，会存在着安全风险，并且还将影响抽水蓄能水电站的推广，也影响我国碳达峰、碳中和的目标。目前，现有的焊接缺陷检测方案大部分都是依靠人工进行外观检测和仪器进行密封性检测，这样的检测方案不仅会浪费大量的人力物力资源，还会造成检测的结果不准确，不能很好地满足现今的水轮机蜗壳座环的焊接质量智能检测目标。因此，期望一种水轮机蜗壳座环的制备方案，其能够对于焊接后水轮机蜗壳座环进行智能缺陷检测，以降低蜗壳座环出现裂纹的风险，提高了生成安全性。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展为焊接后水轮机蜗壳座环的缺陷检测提供了新的解决思路和方案。
相应地，考虑到在对于焊接后水轮机蜗壳座环进行缺陷检测时，需要着重对其表面进行焊接质量检测，由于目前的方案大多都需要依靠大量的人力物力资源来进行缺陷检测，这样不仅会浪费大量的时间，还会使得焊接质量检测结果的准确性难以保证，并且在焊接质量检测的过程中，还会因水轮机蜗壳座环焊接所在场所的粉层等环境因素干扰给焊接区域的质量检测带来困难。因此，在本申请的技术方案中，期望采用基于深度学习的人工智能检测技术，以焊接后水轮机蜗壳座环的检测图像作为输入数据来提取出所述检测图像中聚焦于焊接区域的多个浅层隐含特征，进一步再对其进行环境去噪的图像清晰度增强处理，并利用深层特征融合的思想来进一步提取出水轮机蜗壳座环焊接区域的质量特征，以此来进行水轮机蜗壳座环表面的缺陷检测。这样，能够准确地对于焊接后水轮机蜗壳座环进行智能缺陷检测，以降低蜗壳座环出现裂纹的风险，提高了生成安全性。
具体地，在本申请的技术方案中，首先，通过摄像头获取焊接后水轮机蜗壳座环的检测图像。应可以理解，考虑到在对于所述焊接后水轮机蜗壳座环的焊接质量进行检测时，应聚焦于焊接区域的表面焊接质量隐藏特征，因此，若能够在对于焊接后水轮机蜗壳座环的焊接区域表面的焊接质量进行特征挖掘时滤除掉其余无用的干扰特征信息，显然能够提高焊接质量检测的准确性。基于此，在本申请的技术方案中，进一步将所述检测图像焊接区域目标检测网络以得到焊接感兴趣区域。具体地，首先，将所述检测图像通过所述焊接区域目标检测网络的多层卷积层中进行特征提取，以提取出所述检测图像中关于所述焊接后水轮机蜗壳座环的焊接区域的多个浅层特征信息，也就是所述焊接后水轮机蜗壳座环的焊接区域的形状、纹理等特征，从而得到检测特征图；然后，再使用所述焊接区域目标检测网络的目标锚定层以锚框B来进行滑动对所述检测特征图进行处理，以对于所述焊接的感兴趣区域进行框定，从而得到所述焊接感兴趣区域。特别地，这里，所述焊接区域目标检测网络为基于锚窗的目标检测网络，且所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
进一步地，考虑到在所述检测图像中的焊接感兴趣区域中，由于水轮机蜗壳座环的焊接场所存在大量的粉层等环境小颗粒会对于所述检测图像的清晰度造成影响，这也就会导致因外界环境因素的干扰使得所述焊接感兴趣区域的浅层特征变得模糊，进而降低对于对于焊接后水轮机蜗壳座环的表面缺陷识别的精准度。因此，在本申请的技术方案中，在特征提取前先通过基于对抗生成网络的图像清晰度增强器来进行图像清晰度增强。具体地，将所述焊接感兴趣区域输入所述基于对抗生成网络的图像清晰度增强器的生成器以由所述生成器对所述焊接感兴趣区域进行反卷积处理以得到所述生成焊接感兴趣区域。特别地，这里，所述基于对抗生成网络包含鉴别器和生成器，其中，所述生成器用于生成图像清晰度增强后的图像，所述鉴别器用于计算数据增强后的图像和真实图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有图像清晰度增强功能的生成器。
然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述生成焊接感兴趣区域的特征挖掘，特别地，考虑到在对于所述生成焊接感兴趣区域的隐藏特征进行提取时，为了能够更准确地检测出所述水轮机蜗壳座环的表面缺陷，应关注于所述焊接区域的形状、轮廓和纹理等浅层特征，这些所述浅层特征对于所述水轮机蜗壳座环的表面缺陷检测具有重要意义，而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型来对所述生成焊接感兴趣区域进行处理以得到分类特征图，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述焊接区域的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高所述水轮机蜗壳座环焊接质量检测的精度。
接着，再将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。也就是，将包含有焊接区域的深浅特征融合的所述分类特征图通过分类器中进行分类处理来得到用于表示焊接后水轮机蜗壳座环是否存在表面缺陷的分类结果。这样，能够对于焊接后水轮机蜗壳座环进行智能缺陷检测。
特别地，在本申请的技术方案中，在将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型得到所述分类特征图时，由于所述卷积神经网络模型提取到的深层特征图是在浅层特征图的基础上得到，因此期望所述深层特征图和所述浅层特征图之间能够保持内在的响应性，以提高所述深层特征图和所述浅层特征图的融合效果。
基于此，本申请的申请人针对所述深层特征图和所述浅层特征图的序列对序列响应规则内在化学习损失函数，表示为：
Figure BDA0003934385960000101
Figure BDA0003934385960000102
Figure BDA0003934385960000103
V1和V2分别是所述深层特征图和所述浅层特征图投影后得到的特征向量，且M1和M2分别是分类器对于V1和V2的权重矩阵。
这里，通过分类器对于不同序列的权重矩阵的压榨-激励式通道注意力机制，可以获取特征图展开后得到的特征向量序列之间的加强的区分性能力，通过以此损失函数训练网络，可以实现响应序列之间的具有更好区分性的因果关系特征的恢复，以对序列之间的原因-结果式响应规则进行内在化学习，增强了序列之间的内在响应性，从而提高了所述深层特征图和所述浅层特征图的融合效果，也就相应地提高了所述分类特征图的分类准确性。这样，能够准确地对于焊接后水轮机蜗壳座环进行智能缺陷检测，以降低蜗壳座环出现裂纹的风险，提高了生成安全性。
基于此，本申请提出了一种水轮机蜗壳座环的制备方法，其包括：获取焊接后水轮机蜗壳座环的检测图像；将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域；将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域；将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。
图1为根据本申请实施例的水轮机蜗壳座环的制备方法的应用场景图。如图1所示，在该应用场景中，首先，由摄像头(例如，如图1中所示意的C)获取焊接后水轮机蜗壳座环(例如，如图1中所示意R)的检测图像。进而，将所述焊接后水轮机蜗壳座环的检测图像输入至部署有水轮机蜗壳座环的制备算法的服务器(例如，如图1所示意的S)中，其中，所述服务器能够基于所述水轮机蜗壳座环的制备算法对所述焊接后水轮机蜗壳座环的检测图像进行处理，以得到用于表示焊接后水轮机蜗壳座环是否存在表面缺陷的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2为根据本申请实施例的水轮机蜗壳座环的制备方法的流程图。如图2所示，根据本申请实施例的水轮机蜗壳座环的制备方法，包括：S110，获取焊接后水轮机蜗壳座环的检测图像；S120，将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域；S130，将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域；S140，将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及，S150，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。
图3为根据本申请实施例的水轮机蜗壳座环的制备方法的架构图。如图3所示，在该架构图中，首先获取焊接后水轮机蜗壳座环的检测图像。接着，将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域。然后，将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域。进而，将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图。然后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。
在步骤S110中，获取焊接后水轮机蜗壳座环的检测图像。如上述背景技术所言，座环、蜗壳是混流式水轮机埋入部分的两大部件,它们既是机组的基础件,又是机组通流部件的组成部分,它们承受着随机组运行工况改变而变化的水压分布载荷以及从顶盖传导过来的作用力。座环一般为上、下环板和固定导叶等组成的焊接结构。蜗壳采用钢板焊接,其包角一般介于345到360范围以内。蜗壳通过与座环上、下环板的外缘上碟形边或过渡板焊接成一整体,其焊缝需要严格探伤检查,必要时还需要进行水压试验。
鉴于水轮机蜗壳座环的焊接难度大，容易出现裂纹等缺陷，若不对焊接后的水轮机蜗壳座环进行缺陷检测，会存在着安全风险，并且还将影响抽水蓄能水电站的推广，也影响我国碳达峰、碳中和的目标。目前，现有的焊接缺陷检测方案大部分都是依靠人工进行外观检测和仪器进行密封性检测，这样的检测方案不仅会浪费大量的人力物力资源，还会造成检测的结果不准确，不能很好地满足现今的水轮机蜗壳座环的焊接质量智能检测目标。因此，期望一种水轮机蜗壳座环的制备方案，其能够对于焊接后水轮机蜗壳座环进行智能缺陷检测，以降低蜗壳座环出现裂纹的风险，提高了生成安全性。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。近年来，深度学习以及神经网络的发展为焊接后水轮机蜗壳座环的缺陷检测提供了新的解决思路和方案。
相应地，考虑到在对于焊接后水轮机蜗壳座环进行缺陷检测时，需要着重对其表面进行焊接质量检测，由于目前的方案大多都需要依靠大量的人力物力资源来进行缺陷检测，这样不仅会浪费大量的时间，还会使得焊接质量检测结果的准确性难以保证，并且在焊接质量检测的过程中，还会因水轮机蜗壳座环焊接所在场所的粉层等环境因素干扰给焊接区域的质量检测带来困难。因此，在本申请的技术方案中，期望采用基于深度学习的人工智能检测技术，以焊接后水轮机蜗壳座环的检测图像作为输入数据来提取出所述检测图像中聚焦于焊接区域的多个浅层隐含特征，进一步再对其进行环境去噪的图像清晰度增强处理，并利用深层特征融合的思想来进一步提取出水轮机蜗壳座环焊接区域的质量特征，以此来进行水轮机蜗壳座环表面的缺陷检测。这样，能够准确地对于焊接后水轮机蜗壳座环进行智能缺陷检测，以降低蜗壳座环出现裂纹的风险，提高了生成安全性。具体地，在本申请的技术方案中，首先，通过摄像头获取焊接后水轮机蜗壳座环的检测图像。
在步骤S120中，将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域。应可以理解，考虑到在对于所述焊接后水轮机蜗壳座环的焊接质量进行检测时，应聚焦于焊接区域的表面焊接质量隐藏特征，因此，若能够在对于焊接后水轮机蜗壳座环的焊接区域表面的焊接质量进行特征挖掘时滤除掉其余无用的干扰特征信息，显然能够提高焊接质量检测的准确性。基于此，在本申请的技术方案中，进一步将所述检测图像焊接区域目标检测网络以得到焊接感兴趣区域。具体地，首先，将所述检测图像通过所述焊接区域目标检测网络的多层卷积层中进行特征提取，以提取出所述检测图像中关于所述焊接后水轮机蜗壳座环的焊接区域的多个浅层特征信息，也就是所述焊接后水轮机蜗壳座环的焊接区域的形状、纹理等特征，从而得到检测特征图；然后，再使用所述焊接区域目标检测网络的目标锚定层以锚框B来进行滑动对所述检测特征图进行处理，以对于所述焊接的感兴趣区域进行框定，从而得到所述焊接感兴趣区域。特别地，这里，所述焊接区域目标检测网络为基于锚窗的目标检测网络，且所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
具体地，在本申请实施例中，所述将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域，包括：将所述检测图像通过所述焊接区域目标检测网络的多层卷积层以得到检测特征图；以及，使用所述焊接区域目标检测网络的目标锚定层以如下公式对所述检测特征图进行处理以得到所述焊接感兴趣区域；其中，所述公式为：
Dets＝H(ψdet,B)＝(cls(ψdet,B)，Regr(ψdet,B))
其中，ψdet为检测特征图，B表示锚窗、cls(ψdet,B)表示分类函数、Regr(ψdet,B)表示回归函数。
在步骤S130中，将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域。考虑到在所述检测图像中的焊接感兴趣区域中，由于水轮机蜗壳座环的焊接场所存在大量的粉层等环境小颗粒会对于所述检测图像的清晰度造成影响，这也就会导致因外界环境因素的干扰使得所述焊接感兴趣区域的浅层特征变得模糊，进而降低对于对于焊接后水轮机蜗壳座环的表面缺陷识别的精准度。因此，在本申请的技术方案中，在特征提取前先通过基于对抗生成网络的图像清晰度增强器来进行图像清晰度增强。
具体地，将所述焊接感兴趣区域输入所述基于对抗生成网络的图像清晰度增强器的生成器以由所述生成器对所述焊接感兴趣区域进行反卷积处理以得到所述生成焊接感兴趣区域。特别地，这里，所述基于对抗生成网络包含鉴别器和生成器，其中，所述生成器用于生成图像清晰度增强后的图像，所述鉴别器用于计算数据增强后的图像和真实图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有图像清晰度增强功能的生成器。
在步骤S140中，将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图。也就是，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述生成焊接感兴趣区域的特征挖掘，特别地，考虑到在对于所述生成焊接感兴趣区域的隐藏特征进行提取时，为了能够更准确地检测出所述水轮机蜗壳座环的表面缺陷，应关注于所述焊接区域的形状、轮廓和纹理等浅层特征，这些所述浅层特征对于所述水轮机蜗壳座环的表面缺陷检测具有重要意义，而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型来对所述生成焊接感兴趣区域进行处理以得到分类特征图，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述焊接区域的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高所述水轮机蜗壳座环焊接质量检测的精度。
具体地，在本申请实施例中，所述将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图，包括：从所述包含深浅融合模块的卷积神经网络模型的第M层提取浅层特征图，其中，M大于等于1且小于等于6；从所述包含深浅融合模块的卷积神经网络模型的第N层提取深层特征图，其中，N/M大于等于5且小于等于10；以及，使用所述包含深浅融合模块的卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到分类特征图。
在一个具体示例中，所述包含深浅融合模块的卷积神经网络模型包括相互级联的多个神经网络层，其中各个神经网络层包括卷积层、池化层和激活层。其中，在所述包含深浅融合模块的卷积神经网络模型的编码过程中，所述包含深浅融合模块的卷积神经网络模型的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理，其中，包含深浅融合模块的卷积神经网络模型的第一层的输入数据为所述生成焊接感兴趣区域。这里，所述包含深浅融合模块的卷积神经网络模型的各层都可以输出特征图。在本申请的技术方案中，从所述深浅融合模块的卷积神经网络模型的浅层(如M层)提取浅层特征图，所述深浅融合模块的卷积神经网络模型的深层(如N层)提取深层特征图。应可以理解，所述深浅融合模块的卷积神经网络模型在其2到6层，提取的是所述焊接区域的形状、轮廓和纹理等浅层特征，再往下，提取的是所述焊接区域的焊接质量等深度实质性特征。这样，就可以分别提取出所述生成焊接感兴趣区域的浅层特征和深层特征，以更好地利用所述生成焊接感兴趣区域的不同特征信息来进行准确地判断。
在步骤S150中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。也就是，将包含有焊接区域的深浅特征融合的所述分类特征图通过分类器中进行分类处理来得到用于表示焊接后水轮机蜗壳座环是否存在表面缺陷的分类结果。这样，能够对于焊接后水轮机蜗壳座环进行智能缺陷检测。
具体地，在本申请实施例中，所述将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中Project(F)表示将所述分类矩阵图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
在上述水轮机蜗壳座环的制备方法中，还包括训练步骤：对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练。
图4为根据本申请实施例的水轮机蜗壳座环的制备方法中对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练的流程图。如图4所示，所述训练步骤，包括：S210，获取训练数据，所述训练数据包括焊接后水轮机蜗壳座环的训练检测图像，以及，所述焊接后水轮机蜗壳座环是否存在表面缺陷的真实值；S220，将所述训练检测图像通过所述焊接区域目标检测网络以得到训练焊接感兴趣区域；S230，将所述训练焊接感兴趣区域通过所述基于对抗生成网络的图像清晰度增强器以得到训练生成焊接感兴趣区域；S240，将所述训练生成焊接感兴趣区域通过所述包含深浅融合模块的卷积神经网络模型以得到训练浅层特征图和训练深层特征图；S250，融合所述训练浅层特征图和训练深层特征图以得到训练分类特征图；S260，将所述训练分类特征图通过所述分类器以得到分类损失函数值；S270，基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及，S280，计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练。
特别地，在本申请的技术方案中，在将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型得到所述分类特征图时，由于所述卷积神经网络模型提取到的深层特征图是在浅层特征图的基础上得到，因此期望所述深层特征图和所述浅层特征图之间能够保持内在的响应性，以提高所述深层特征图和所述浅层特征图的融合效果。基于此，本申请的申请人针对所述深层特征图和所述浅层特征图的序列对序列响应规则内在化学习损失函数。
具体地，在本申请实施例中，所述基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值，包括：基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离以如下公式计算所述序列对序列响应规则内在化学习损失函数值；其中，所述公式为：
Figure BDA0003934385960000161
Figure BDA0003934385960000162
Figure BDA0003934385960000163
其中，V1是所述训练浅层特征图投影后得到的特征向量，V2是所述训练深层特征图投影后得到的特征向量，且W1和W2分别是所述分类器对于所述训练浅层特征图投影后得到的特征向量和所述训练深层特征图投影后得到的特征向量的权重矩阵，ReLU(·)表示ReLU激活函数，Sigmoid(·)表示Sigmoid激活函数，
Figure BDA0003934385960000171
表示矩阵相乘，d(·,·)表示两个向量之间的欧式距离。
这里，通过分类器对于不同序列的权重矩阵的压榨-激励式通道注意力机制，可以获取特征图展开后得到的特征向量序列之间的加强的区分性能力，通过以此损失函数训练网络，可以实现响应序列之间的具有更好区分性的因果关系特征的恢复，以对序列之间的原因-结果式响应规则进行内在化学习，增强了序列之间的内在响应性，从而提高了所述深层特征图和所述浅层特征图的融合效果，也就相应地提高了所述分类特征图的分类准确性。这样，能够准确地对于焊接后水轮机蜗壳座环进行智能缺陷检测，以降低蜗壳座环出现裂纹的风险，提高了生成安全性。
综上，基于本申请实施例的水轮机蜗壳座环的制备方法被阐明，其采用基于深度学习的人工智能检测技术，以焊接后水轮机蜗壳座环的检测图像作为输入数据来提取出所述检测图像中聚焦于焊接区域的多个浅层隐含特征，进一步再对其进行环境去噪的图像清晰度增强处理，并利用深层特征融合的思想来进一步提取出水轮机蜗壳座环焊接区域的质量特征，以此来进行水轮机蜗壳座环表面的缺陷检测。这样，降低蜗壳座环出现裂纹的风险，优化水轮机蜗壳座环的制备过程。
示例性系统
图5为根据本申请实施例的水轮机蜗壳座环的制备系统的框图。如图5所示，根据本申请实施例的水轮机蜗壳座环的制备系统100，包括：数据采集单元110，用于获取焊接后水轮机蜗壳座环的检测图像；目标检测单元120，用于将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域；图像增强单元130，用于将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域；深浅融合编码单元140，用于将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及，检测结果生成单元150，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。
在一个示例中，在上述水轮机蜗壳座环的制备系统100中，所述焊接区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在一个示例中，在上述水轮机蜗壳座环的制备系统100中，所述目标检测单元120，进一步用于：将所述检测图像通过所述焊接区域目标检测网络的多层卷积层以得到检测特征图；以及，使用所述焊接区域目标检测网络的目标锚定层以如下公式对所述检测特征图进行处理以得到所述焊接感兴趣区域；其中，所述公式为：
Dets＝H(ψdet,B)＝(cls(ψdet,B)，Regr(ψdet,B))
其中，ψdet为检测特征图，B表示锚窗、cls(ψdet,B)表示分类函数、Regr(ψdet,B)表示回归函数。
在一个示例中，在上述水轮机蜗壳座环的制备系统100中，所述对抗生成网络包括鉴别器和生成器；其中，所述图像增强单元130，进一步用于：将所述焊接感兴趣区域输入所述基于对抗生成网络的图像清晰度增强器的生成器以由所述生成器对所述焊接感兴趣区域进行反卷积处理以得到所述生成焊接感兴趣区域。
在一个示例中，在上述水轮机蜗壳座环的制备系统100中，所述深浅融合编码单元140，进一步用于：从所述包含深浅融合模块的卷积神经网络模型的第M层提取浅层特征图，其中，M大于等于1且小于等于6；从所述包含深浅融合模块的卷积神经网络模型的第N层提取深层特征图，其中，N/M大于等于5且小于等于10；以及，使用所述包含深浅融合模块的卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到分类特征图。
在一个示例中，在上述水轮机蜗壳座环的制备系统100中，所述检测结果生成单元150，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中Project(F)表示将所述分类矩阵图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
在一个示例中，在上述水轮机蜗壳座环的制备系统100中，还包括用于对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练的训练模块200。
图6为根据本申请实施例的水轮机蜗壳座环的制备系统中训练模块的框图。如图6所示，所述训练模块200，包括：训练数据采集单元210，用于获取训练数据，所述训练数据包括焊接后水轮机蜗壳座环的训练检测图像，以及，所述焊接后水轮机蜗壳座环是否存在表面缺陷的真实值；训练目标检测单元220，用于将所述训练检测图像通过所述焊接区域目标检测网络以得到训练焊接感兴趣区域；训练图像增强单元230，用于将所述训练焊接感兴趣区域通过所述基于对抗生成网络的图像清晰度增强器以得到训练生成焊接感兴趣区域；深浅特征编码单元240，用于将所述训练生成焊接感兴趣区域通过所述包含深浅融合模块的卷积神经网络模型以得到训练浅层特征图和训练深层特征图；融合单元250，用于融合所述训练浅层特征图和训练深层特征图以得到训练分类特征图；分类损失单元260，用于将所述训练分类特征图通过所述分类器以得到分类损失函数值；内在化学习损失单元270，用于基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及，训练单元280，用于计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练。
这里，本领域技术人员可以理解，上述水轮机蜗壳座环的制备系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的水轮机蜗壳座环的制备方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的水轮机蜗壳座环的制备系统100可以实现在各种终端设备中，例如用于水轮机蜗壳座环的制备的服务器等。在一个示例中，根据本申请实施例的水轮机蜗壳座环的制备系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该水轮机蜗壳座环的制备系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该水轮机蜗壳座环的制备系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该水轮机蜗壳座环的制备系统100与该终端设备也可以是分立的设备，并且该水轮机蜗壳座环的制备系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图7来描述根据本申请实施例的电子设备。图7为根据本申请实施例的电子设备的框图。如图7所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的水轮机蜗壳座环的制备方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如焊接后水轮机蜗壳座环的检测图像等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的水轮机蜗壳座环的制备方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的水轮机蜗壳座环的制备方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims (10)

1.一种水轮机蜗壳座环的制备方法，其特征在于，包括：
获取焊接后水轮机蜗壳座环的检测图像；
将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域；
将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域；
将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。
2.根据权利要求1所述的水轮机蜗壳座环的制备方法，其特征在于，所述焊接区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
3.根据权利要求2所述的水轮机蜗壳座环的制备方法，其特征在于，所述将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域，包括：
将所述检测图像通过所述焊接区域目标检测网络的多层卷积层以得到检测特征图；以及
使用所述焊接区域目标检测网络的目标锚定层以如下公式对所述检测特征图进行处理以得到所述焊接感兴趣区域；
其中，所述公式为：
Dets＝H(ψdet,B)＝(cls(ψdet,B)，Regr(ψdet,B))
其中，ψdet为检测特征图，B表示锚窗、cls(ψdet,B)表示分类函数、Regr(ψdet,B)表示回归函数。
4.根据权利要求3所述的水轮机蜗壳座环的制备方法，其特征在于，所述对抗生成网络包括鉴别器和生成器；
其中，所述将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域，包括：
将所述焊接感兴趣区域输入所述基于对抗生成网络的图像清晰度增强器的生成器以由所述生成器对所述焊接感兴趣区域进行反卷积处理以得到所述生成焊接感兴趣区域。
5.根据权利要去4所述的水轮机蜗壳座环的制备方法，其特征在于，所述将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图，包括：
从所述包含深浅融合模块的卷积神经网络模型的第M层提取浅层特征图，其中，M大于等于1且小于等于6；
从所述包含深浅融合模块的卷积神经网络模型的第N层提取深层特征图，其中，N/M大于等于5且小于等于10；以及
使用所述包含深浅融合模块的卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到分类特征图。
6.根据权利要求5所述的水轮机蜗壳座环的制备方法，其特征在于，所述将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷，包括：
使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
O＝softmax{(Wn,Bn):…:(W1,B1)|Project(F)}
其中Project(F)表示将所述分类矩阵图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
7.根据权利要求6所述的水轮机蜗壳座环的制备方法，其特征在于，还包括训练步骤：对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练。
8.根据权利要求7所述的水轮机蜗壳座环的制备方法，其特征在于，所述训练步骤，包括：
获取训练数据，所述训练数据包括焊接后水轮机蜗壳座环的训练检测图像，以及，所述焊接后水轮机蜗壳座环是否存在表面缺陷的真实值；
将所述训练检测图像通过所述焊接区域目标检测网络以得到训练焊接感兴趣区域；
将所述训练焊接感兴趣区域通过所述基于对抗生成网络的图像清晰度增强器以得到训练生成焊接感兴趣区域；
将所述训练生成焊接感兴趣区域通过所述包含深浅融合模块的卷积神经网络模型以得到训练浅层特征图和训练深层特征图；
融合所述训练浅层特征图和训练深层特征图以得到训练分类特征图；
将所述训练分类特征图通过所述分类器以得到分类损失函数值；
基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值；以及
计算所述分类损失函数值和所述序列对序列响应规则内在化学习损失函数值的加权和作为损失函数值来对所述焊接区域目标检测网络、基于对抗生成网络的图像清晰度增强器、所述包含深浅融合模块的卷积神经网络模型和所述分类器进行训练。
9.根据权利要求8所述的水轮机蜗壳座环的制备方法，其特征在于，所述基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离计算序列对序列响应规则内在化学习损失函数值，包括：
基于所述训练浅层特征图和训练深层特征图投影后得到的特征向量之间的距离以如下公式计算所述序列对序列响应规则内在化学习损失函数值；
其中，所述公式为：
Figure FDA0003934385950000031
Figure FDA0003934385950000032
Figure FDA0003934385950000033
其中，V1是所述训练浅层特征图投影后得到的特征向量，V2是所述训练深层特征图投影后得到的特征向量，且W1和W2分别是所述分类器对于所述训练浅层特征图投影后得到的特征向量和所述训练深层特征图投影后得到的特征向量的权重矩阵，ReLU(·)表示ReLU激活函数，Sigmoid(·)表示Sigmoid激活函数，
Figure FDA0003934385950000034
表示矩阵相乘，d(·,·)表示两个向量之间的欧式距离。
10.一种水轮机蜗壳座环的制备系统，其特征在于，包括：
数据采集单元，用于获取焊接后水轮机蜗壳座环的检测图像；
目标检测单元，用于将所述检测图像通过焊接区域目标检测网络以得到焊接感兴趣区域；
图像增强单元，用于将所述焊接感兴趣区域通过基于对抗生成网络的图像清晰度增强器以得到生成焊接感兴趣区域；
深浅融合编码单元，用于将所述生成焊接感兴趣区域通过包含深浅融合模块的卷积神经网络模型以得到分类特征图；以及
检测结果生成单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示焊接后水轮机蜗壳座环是否存在表面缺陷。
CN202211398895.XA 2022-11-09 2022-11-09 水轮机蜗壳座环的制备方法及其系统 Active CN115564766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211398895.XA CN115564766B (zh) 2022-11-09 2022-11-09 水轮机蜗壳座环的制备方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211398895.XA CN115564766B (zh) 2022-11-09 2022-11-09 水轮机蜗壳座环的制备方法及其系统

Publications (2)

Publication Number Publication Date
CN115564766A true CN115564766A (zh) 2023-01-03
CN115564766B CN115564766B (zh) 2023-06-13

Family

ID=84768074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211398895.XA Active CN115564766B (zh) 2022-11-09 2022-11-09 水轮机蜗壳座环的制备方法及其系统

Country Status (1)

Country Link
CN (1) CN115564766B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116408647A (zh) * 2023-04-23 2023-07-11 浙江亚美力新能源科技有限公司 汽车散热器芯体自动装配系统及其方法
CN116787017A (zh) * 2023-07-14 2023-09-22 浙江振兴阿祥集团有限公司 水轮机座环焊接机器人的控制方法及其系统
CN117392134A (zh) * 2023-12-12 2024-01-12 苏州矩度电子科技有限公司 一种用于高速点胶的在线视觉检测系统
CN117475241A (zh) * 2023-12-27 2024-01-30 山西省水利建筑工程局集团有限公司 用于悬臂式掘进机隧洞开挖的地质突变检测系统及方法
CN118082203A (zh) * 2023-04-21 2024-05-28 广东昱升个人护理用品股份有限公司 拉拉裤的超声波封边工艺及其系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944610A (zh) * 2012-11-30 2013-02-27 湖南省湘电锅炉压力容器检验中心有限公司 一种水轮机不锈钢转轮叶片焊缝缺陷的检测方法
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
US20200065992A1 (en) * 2018-08-23 2020-02-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing image and method and apparatus for training recognition model based on data augmentation
CN111681231A (zh) * 2020-06-10 2020-09-18 厦门理工学院 基于目标检测的工业焊接图像缺陷的检测方法
CN112083017A (zh) * 2020-09-10 2020-12-15 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN112926582A (zh) * 2021-03-30 2021-06-08 江南大学 一种基于自适应特征选择和尺度损失函数的文本检测方法
CN113848216A (zh) * 2021-09-18 2021-12-28 南京林业大学 基于雾生成对抗神经网络的沥青混凝土检测系统及方法
US20220051394A1 (en) * 2020-08-13 2022-02-17 Hon Hai Precision Industry Co., Ltd. Electronic device and tool detecting method
US20220189002A1 (en) * 2020-12-15 2022-06-16 Hyundai Mobis Co., Ltd. Method and system for defect inspection based on deep learning

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944610A (zh) * 2012-11-30 2013-02-27 湖南省湘电锅炉压力容器检验中心有限公司 一种水轮机不锈钢转轮叶片焊缝缺陷的检测方法
US20200065992A1 (en) * 2018-08-23 2020-02-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing image and method and apparatus for training recognition model based on data augmentation
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
CN111681231A (zh) * 2020-06-10 2020-09-18 厦门理工学院 基于目标检测的工业焊接图像缺陷的检测方法
US20220051394A1 (en) * 2020-08-13 2022-02-17 Hon Hai Precision Industry Co., Ltd. Electronic device and tool detecting method
CN112083017A (zh) * 2020-09-10 2020-12-15 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
US20220189002A1 (en) * 2020-12-15 2022-06-16 Hyundai Mobis Co., Ltd. Method and system for defect inspection based on deep learning
CN112926582A (zh) * 2021-03-30 2021-06-08 江南大学 一种基于自适应特征选择和尺度损失函数的文本检测方法
CN113848216A (zh) * 2021-09-18 2021-12-28 南京林业大学 基于雾生成对抗神经网络的沥青混凝土检测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NEURY BOARETTO等: "Automated detection of welding defects in pipelines from radiographic images DWDI", 《NDT & E INTERNATIONAL》, vol. 86, pages 7 - 13, XP029893711, DOI: 10.1016/j.ndteint.2016.11.003 *
丁枭: "基于CenterNet网络模型的发电机组叶轮缺陷检测研究", 《万方数据库》, pages 11 - 60 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118082203A (zh) * 2023-04-21 2024-05-28 广东昱升个人护理用品股份有限公司 拉拉裤的超声波封边工艺及其系统
CN116408647A (zh) * 2023-04-23 2023-07-11 浙江亚美力新能源科技有限公司 汽车散热器芯体自动装配系统及其方法
CN116408647B (zh) * 2023-04-23 2023-11-14 浙江亚美力新能源科技有限公司 汽车散热器芯体自动装配系统及其方法
CN116787017A (zh) * 2023-07-14 2023-09-22 浙江振兴阿祥集团有限公司 水轮机座环焊接机器人的控制方法及其系统
CN116787017B (zh) * 2023-07-14 2024-03-12 湖南摩码智能机器人有限公司 水轮机座环焊接机器人的控制方法及其系统
CN117392134A (zh) * 2023-12-12 2024-01-12 苏州矩度电子科技有限公司 一种用于高速点胶的在线视觉检测系统
CN117392134B (zh) * 2023-12-12 2024-02-27 苏州矩度电子科技有限公司 一种用于高速点胶的在线视觉检测系统
CN117475241A (zh) * 2023-12-27 2024-01-30 山西省水利建筑工程局集团有限公司 用于悬臂式掘进机隧洞开挖的地质突变检测系统及方法

Also Published As

Publication number Publication date
CN115564766B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN115564766B (zh) 水轮机蜗壳座环的制备方法及其系统
CN112101426B (zh) 基于自编码器的无监督学习图像异常检测方法
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN109886970B (zh) 太赫兹图像中目标物体的检测分割方法及计算机存储介质
CN116994069B (zh) 一种基于多模态信息的图像解析方法及系统
CN114998566B (zh) 一种可解释的多尺度红外弱小目标检测网络设计方法
CN114580515A (zh) 用于半导体脱焊智能检测的神经网络训练方法
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN116993732B (zh) 一种缝隙检测方法、系统和存储介质
CN115527098A (zh) 基于全局均值对比度空间注意力的红外小目标检测方法
CN118411682B (zh) 基于条件扩散模型的可见光图像海上船舶目标识别方法
CN116030018A (zh) 用于门加工的来料合格检验系统及方法
CN113095158A (zh) 一种基于对抗生成网络的笔迹生成方法及装置
CN115853173A (zh) 一种用于施工安装的建筑幕墙
CN116883681A (zh) 一种基于对抗生成网络的域泛化目标检测方法
CN114708518A (zh) 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN113139549A (zh) 一种基于多任务学习的参数自适应全景分割方法
CN117035024A (zh) 基于对抗生成网络的大跨空间场所火灾合成样本增强方法
CN117484031A (zh) 光伏组件焊接加工设备
CN114332288A (zh) 基于短语驱动生成对抗网络的文本生成图像的方法及网络
CN115143128B (zh) 小型潜水电泵的故障诊断方法及其系统
CN114839466B (zh) 用于水泵的emc电磁兼容性测试系统及其测试方法
Liu et al. ViTR-Net: An unsupervised lightweight transformer network for cable surface defect detection and adaptive classification
CN116229104A (zh) 一种基于边缘特征引导的显著性目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant