CN117036355B - 编码器和模型的训练方法、故障检测方法及相关设备 - Google Patents

编码器和模型的训练方法、故障检测方法及相关设备 Download PDF

Info

Publication number
CN117036355B
CN117036355B CN202311300362.8A CN202311300362A CN117036355B CN 117036355 B CN117036355 B CN 117036355B CN 202311300362 A CN202311300362 A CN 202311300362A CN 117036355 B CN117036355 B CN 117036355B
Authority
CN
China
Prior art keywords
image
encoder
preset
loss value
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311300362.8A
Other languages
English (en)
Other versions
CN117036355A (zh
Inventor
王炼红
邱浩轩
张英杰
李蒲德
李明
丁晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202311300362.8A priority Critical patent/CN117036355B/zh
Publication of CN117036355A publication Critical patent/CN117036355A/zh
Application granted granted Critical
Publication of CN117036355B publication Critical patent/CN117036355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像编码器训练方法，属于图像数据处理技术领域，其中所述方法包括获取数据集利用编码器进行目标图像和背景图像的特征提取，利用预设损失函数获取所述特征的损失值和一个预设值调整第一、第二编码器，并返回特征提取步骤，当损失值下降到一定值时所述编码器训练完成。本发明还公开了一种U‑Net神经网络模型的训练方法、叶片故障图像检测方法、图像处理的装置、图像处理的终端和介质。本发明无anchor生成，无IOU损失计算，无置信度损失计算，无非极大值抑制过程，减少了计算量和参数数量，提高了目标检测算法的运行速度。

Description

编码器和模型的训练方法、故障检测方法及相关设备
技术领域
本发明涉及计算机图像数据处理领域，尤其涉及一种编码器和模型的训练方法、故障检测方法及相关设备。
背景技术
风能作为可持续的清洁能源，由于其安全性、稳定性及低成本，在可再生能源的未来发展中发挥着重要作用。风机叶片是风电机组进行能量转换的核心部件之一，极易受环境影响而造成叶片故障。对风机叶片进行及时准确的故障诊断，可以提高风电场的发电效率和风电机组的运行寿命。目前，风机叶片故障诊断常采用深度学习目标检测技术，如传统的一种将图像划分为网络并进行目标检测的算法和一种快速将深度学习应用到目标检测上的算法。
传统的目标检测算法在检测过程中会产生大量anchor，anchor是一种预定义的固定大小和宽高比的边界框，传统的目标检测算法将待检测的图像划分为如图1所示多个框，进而产生大量anchor，anchor用于在图像中捕捉不同尺度和形状的目标，这种机制导致在后续对结果后处理过程中会进行大量的非极大值抑制计算，产生很大的计算量，进而使得图像的检测效率低下。
发明内容
本发明的主要目的在于提供一种编码器和模型的训练方法、故障检测方法及相关设备，旨在解决现有技术中检测算法检测效率低下的技术问题。
第一方面，本发明提供一种编码器的训练方法，包括：
获得图像数据集和检测区域数据集，所述检测区域数据集中各数据与所述图像数据集中存在损失区域的图像一一对应；
根据所述图像数据集和检测区域数据集将所述图像数据集中的图像划分为目标图像和背景图像；
利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征；
利用预设第一损失函数获取所述目标特征和所述背景特征之间的损失值；
根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值；
根据所述损失值小于或者等于预设损失值对应的第一编码器和第二编码器获得图像编码器。
在其中一个实施例中，所述根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值的步骤，包括：
将所述目标图像与所述背景图像划分为多个队列，其中各队列中图像总数相同，且各队列中的所述目标图像与所述背景图像的数量比为预设比；
将第一队列中的所述目标图像输入第一编码器获得第一目标特征，将第一队列中的所述背景图像输入第二编码器获得第一背景特征，其中第一队列为多个队列中的一个；
根据预设第一损失函数获取所述第一目标特征与所述第一背景特征的第一损失值；
若第一损失值大于预设损失值，将所述第一损失值反向传播至第一编码器进行梯度下降得到更新后的第一编码器，并通过预设值逐步调整第二编码器，同时将第二队列中的所述目标图像输入所述更新后的第一编码器获得第二目标特征，将第二队列中的所述背景图像输入调整后的所述第二编码器获得第二背景特征，其中第二队列为多个队列中任一队列，且第一队列和第二队列为不同队列；
根据所述第二目标特征和所述第二背景特征计算损失值，以此类推直到所述损失值小于或者等于预设损失值。
在其中一个实施例中：每个队列中目标图像位于队首，背景图像位于队尾。
在其中一个实施例中，所述将所述目标图像与所述背景图像划分为多个队列，其中各队列中图像总数相同，且各队列中的所述目标图像与所述背景图像的数量比为预设比，替换为：
每次从目标图像选取第一数量目标图像与从背景图像选取第二数量背景图像作为一队列，其中每个队列中图像均不完全相同。
第二方面，本发明还提供一种模型的训练方法，包括：
获取训练集图像与掩码操作后的训练集图像的标注框；
根据所述训练集图像和所述掩码操作后的训练集图像的标注框对U-Net神经网络初始模型进行训练，获得训练好的U-Net神经网络模型，其中U-Net神经网络初始模型中的图像编码器是由第一方面任意一项所述的训练方法获得。
在其中一个实施例中，所述根据所述训练集图像和所述掩码操作后的训练集图像的标注框对U-Net神经网络初始模型进行训练，获得训练好的U-Net神经网络模型，其中U-Net神经网络初始模型中的图像编码器是由第一方面任意一项所述的训练方法获得，包括：
根据所述U-Net神经网络初始模型获取所述训练集图像的模型预测值；
根据预设第二损失函数获取所述模型预测值与所述掩码操作后的训练集图像的标注框的损失值；
根据所述损失值调整所述U-Net神经网络初始模型，直到所述损失值小于预设损失值；
根据所述损失值小于或者等于预设损失值对应的U-Net神经网络模型获取训练好的U-Net神经网络模型。
在其中一个实施例中，所述根据预设第二损失函数获取所述模型预测值与所述掩码操作后的训练集图像的标注框的损失值，包括：
获取所述模型预测值像素级别展平后的第一向量；
获取所述掩码操作后的训练集图像的标注框像素级别展平后的第二向量；
根据预设第二损失函数获取所述第一向量和所述第二向量的损失值。
第三方面，本发明提供一种叶片的故障检测方法，所述叶片的故障检测方法包括：
获取叶片的待检测图像；
通过预设U-Net神经网络模型获取所述叶片的待检测图像的模型预测图，其中，所述预设U-Net神经网络模型根据第二方面任一方法训练得到；
对所述模型预测图依次进行图像侵蚀处理、置信度控制和聚类处理，获得包括采用预设形状框标注故障位置的故障检测结果图。
第四方面，本发明还提供一种叶片的故障检测装置，包括：
获取模块，用于获取叶片的待检测图像；
模型预测模块，用于通过预设U-Net神经网络模型获取所述叶片的待检测图像的模型预测图，其中，所述预设U-Net神经网络模型根据第二方面所述方法训练得到；
处理模块，用于对所述模型预测图依次进行图像侵蚀处理、置信度控制和聚类处理，获得包括采用预设形状框标注故障位置的故障检测结果图。
第五方面，本发明还提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面、第二方面和第三方面中任一方面所述方法的步骤。
第六方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面、第二方面和第三方面中任一方面所述的方法的步骤。
上述编码器和模型的训练方法、故障检测方法及相关设备，通过获取第一图像数据集和第二图像数据集，所述第二图像数据集中的图像包括背景图像；根据所述第一图像数据集和所述第二图像数据集获得目标图像和背景图像；利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征；利用预设第一损失函数获取所述目标特征和所述背景特征之间的损失值；根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值；根据所述损失值小于或者等于预设损失值对应的第一编码器和第二编码器获得图像编码器。通过上述方式，本申请对神经网络模型中重要部分：图像编码器进行训练，训练过程中图像编码器直接根据输入的图像进行特征提取，无需将图像划分为多个网格，训练后的图像编码器能够直接区别图像中的目标区域和背景区域，因此不会生成对应的anchor，进而提高了图像的处理效率。
附图说明
图1为现有技术实施例中anchor生成示意图；
图2为本申请实施例中涉及的终端的硬件结构示意图图；
图3为本申请实施例中编码器的训练方法第一实施例的流程示意图；
图4为本申请实施例中编码器的训练方法第二实施例的流程结构图；
图5为本申请实施例中编码器训练装置的示意图；
图6为本申请实施例中U-Net神经网络模型的训练方法第一实施例的流程示意图；
图7为本申请实施例中U-Net神经网络模型的训练方法实施例方案中涉及的掩码制备示意图；
图8为本申请实施例中U-Net神经网络模型的训练方法实施例方案中涉及的U-Net神经网络模型结构图；
图9为本申请实施例中U-Net神经网络模型的训练方法的流程示意图；
图10为本申请实施例中U-Net神经网络模型的训练装置的示意图；
图11为本申请实施例中叶片的故障检测方法第一实施例的流程示意图；
图12为本申请实施例中叶片的故障检测方法第一实施例的流程示意图；
图13为本申请实施例中叶片的故障检测方法第二实施例的流程示意图；
图14为本申请实施例中叶片的故障检测装置的示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的终端，该终端可以是可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备、便携式可穿戴设备和服务器，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
其内部结构图可以如图2所示。该终端包括通过系统总线连接的处理器1001、存储器1005、用户接口1003和网络接口1004。其中，该终端的处理器1001用于提供计算和控制能力。该终端的存储器1005包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的存储器1005用于存储图像数据集、编码器、神经网络模型等各种数据。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像编码器的训练方法、U-Net神经网络模型的训练方法或者叶片的故障检测方法的步骤。
本领域技术人员可以理解，图2中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
参照图3，本申请提供了一种编码器的训练方法。以该方法应用于图2中的终端为例进行说明，所述编码器的训练方法包括：
S110，获得图像数据集和检测区域数据集，所述检测区域数据集中各数据与所述图像数据集中存在损失区域的图像一一对应；
具体的，本申请应用于计算机设备、服务器等用于叶片故障检测的设备中。预先获取风机叶片的多张图像，然后进行对多张图像进行人工标注存在损伤区域（即存在破损、腐蚀等区域）的图像，如果不存在损伤区域则无需人工标注，从而获得经过人工标注后的图像数据集，根据人工标注结果获得图像数据集和检测区域数据集，其中图像数据集包括两种情况：1、图像数据集中所有图像都存在人工标注；2、图像数据集中一部分图像存在人工标注，另一部分不存在人工标注。检测区域数据集包括目标区域的坐标数据，每个坐标数据与图像数据集中存在人工标注的图像一一对应。
S120，根据所述图像数据集和检测区域数据集将所述图像数据集中的图像划分为目标图像和背景图像；
具体地，在获得图像数据集和检测区域数据集之后，根据图像数据集和检测区域数据集将所述图像数据集中的图像划分为目标图像和背景图像。示例性的，图像数据集包括100张图像，其中100张图像均包括损失区域，此时对应的检测区域数据集中包括100个坐标数据。此时根据100个坐标数据将图像数据集中100张图像划分为目标图像和背景图像，目标图像的数量为100，背景图像的数量至少为100。
S130，利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征；
其中，第一编码器和第二编码器可以采用自注意力机制对图像进行特征提取，也可以采用其他特征提取方式，此处不做限定。自注意力机制能够自动学习图像中不同位置的相关性且能够根据不同风机叶片的损伤情况动态调整注意力权重，从而适应不同尺寸、形状和位置的损伤部分。
具体的，使用第一编码器对n个目标图像进行特征提取获得n个目标特征，利用第二编码器对m*n个背景图像进行特征提取获得m*n个背景特征，m、n均为正整数。
S140，利用预设第一损失函数获取所述目标特征和所述背景特征之间的损失值；
其中，预设第一损失函数可以为contrastiveloss损失函数，具体可以根据需要选择不同的损失函数进行计算，此处不做限定。
contrastiveloss公式如下：
具体地，利用contrastive loss损失函数对n个目标特征和m*n个背景特征进行对比学习，获得第一损失值，其中表示温度参数，q表示目标特征和背景特征的特征向量，K表示所有特征的总数量，所有特征具体包括所有的目标特征和所有的背景特征，ki表示背景特征，k+表示目标特征。
S150，根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值的步骤；
具体的，本实施例中，在获得目标特征和背景特征后，选择第一数量的目标特征和第二数量的背景特征构成多个队列，即每个队列均包括目标特征和背景特征，每次选择一个队列经过步骤S140获取损失值，为方便描述，第一次获取的损失值定义为第一损失值，然后将所述第一损失值反向传播回第一编码器进行更新，然后用接近于0的值（假设为a）来更新第二编码器，第一队列经过上述处理后，再读取下一个队列，对读取获得的图像再次进行特征提取和损失值计算，即进行步骤S130和S140，获得第二个队列对应的第二损失值，然后采用获得对应的损失值更新第一编码器，当损失值小于或者等于预设损失值，在所述损失值小于或者等于预设损失值时，反向传播停止，训练结束。
S160，根据所述损失值小于或者等于预设损失值对应的第一编码器和第二编码器获得图像编码器。
具体地，将获得对应的所述第一编码器和所述第二编码器组成图像编码器。
在本实施例中，通过获得图像数据集和检测区域数据集，所述检测区域数据集中各数据与所述图像数据集中存在损失区域的图像一一对应；根据所述图像数据集和检测区域数据集将所述图像数据集中的图像划分为目标图像和背景图像；利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征；利用预设第一损失函数获取所述目标特征和所述背景特征之间的损失值；根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值；根据所述损失值小于或者等于预设损失值对应的第一编码器和第二编码器获得图像编码器。通过上述方式，本申请相对神经网络模型中重要部分：图像编码器进行训练，训练过程中图像编码器直接根据输入的图像进行特征提取，无需将图像划分为多个网格，训练后的图像编码器能够直接区别图像中的目标区域和背景区域，因此不会生成对应的anchor，进而提高了图像的处理效率。
进一步地，本发明编码器的训练方法一实施例中，步骤S150：所述根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值的步骤，具体可以包括：
S151，将所述目标图像与所述背景图像划分为多个队列，其中各队列中图像总数相同，且所述目标图像与所述背景图像的数量比为预设比；
具体的，所述目标图像与所述背景图像以1：m的比例组成多个队列，每个队列中的目标图像不完全相同，背景图像也不完全相同，但是每个队列中的目标图像的数量相等，背景图像的数量也相同。
S152，将第一队列中的所述目标图像输入第一编码器获得第一目标特征，将第一队列中的所述背景图像输入第二编码器获得第一背景特征，其中第一队列为多个队列中的一个；
具体的，将第一队列中的n个所述目标图像输入第一编码器获得第一目标特征，将第一队列中的n*m个所述背景图像输入获得第一背景特征。示例性的，目标图像的数量为100，背景图像的数量为300，m、n均为正整数。
S153，根据预设第一损失函数获取所述第一目标特征与所述第一背景特征的第一损失值；
具体的，通过预设第一损失函数获取第一目标特征与第一背景特征获取第一损失值。示例性的，目标特征的数量为100，背景特征的数量为300，依次将获取到的1个目标特征与其对应的3个背景特征输入进contrastiveloss损失函数中进行计算获取到一个损失值，总共获得100个损失值。
S154，若第一损失值大于预设损失值，将所述第一损失值反向传播回第一编码器进行梯度下降得到更新后的第一编码器，并通过预设值逐步调整第二编码器，同时将第二队列中的所述目标图像输入所述更新后的第一编码器获得第二目标特征，将第二队列中的所述背景图像输入调整后的所述第二编码器获得第二背景特征，其中第二队列为多个队列中任一队列，且第一队列和第二队列不同队列；
具体的，当第一损失值大于预设损失值，将所述第一损失值反向传播回第一编码器进行更新得到更新后的第一编码器，并通过接近于0的预设值a调整第二编码器，同时将第二队列中的n个所述目标图像输入所述更新后的第一编码器获得第二目标特征，将第二队列中的n个所述背景图像输入调整后的所述第二编码器获得第二背景特征，其中第二队列为多个队列中任一队列，且第一队列和第二队列不同队列。
S155，根据所述第二目标特征和所述第二背景特征计算损失值，以此类推直到所述损失值小于或者等于预设损失值。
具体的，根据所述第二目标特征和所述第二背景特征计算损失值，当损失值大于预设范围，继续对第三队列进行特征提取并计算第三队列的损失值，直到所述损失值小于或者等于预设损失值。
示例性的，如图4所示，在对图像编码器的训练过程中获取图像数据集，以及输入目标框数据集（即检测区域数据集），其中输入目标框数据集为目标框位置信息（x,y,w,h），将图像数据集，以及输入目标框数据集（即检测区域数据集）传递至图像编码器，图像编码器根据目标框位置信息（x,y,w,h）将图像数据集中各图像分离出目标区域图像和背景图像，然后将分离出的目标区域图像和背景图像划分为多个队列，并将队首位置放置目标区域图像，在队尾放置背景图像。然后将队首的目标区域图像输入自注意力编码器1中，获得对应的目标特征，将背景图像输入自注意力编码器2中，获得对应的背景特征。然后通过损失函数（contrastive loss函数）计算目标特征和背景特征之间的损失值，在损失值大于预设值时，反向传播至自注意力编码器1，从而调整自注意力编码器1中的参数，并通过接近于0的预设值a调整自注意力编码器2，如此循环，直到损失值小于或者等于预设值，此时根据自注意力编码器1和自注意力编码器2获得图像编码器。可以理解的是，在每个队列经过计算损失值后，可以将该队列的图像移出，重新从图像集中选择新的图像移入队列。
在本实施例中，通过将所述目标图像与所述背景图像划分为多个队列，其中各队列中图像总数相同，且各队列中的所述目标图像与所述背景图像的数量比为预设比；将第一队列中的所述目标图像输入第一编码器获得第一目标特征，将第一队列中的所述背景图像输入第二编码器获得第一背景特征，其中第一队列为多个队列中的一个；根据预设第一损失函数获取所述第一目标特征与所述第一背景特征的第一损失值；若第一损失值大于预设损失值，将所述第一损失值反向传播至第一编码器进行梯度下降得到更新后的第一编码器，并通过预设值逐步调整第二编码器，同时将第二队列中的所述目标图像输入所述更新后的第一编码器获得第二目标特征，将第二队列中的所述背景图像输入调整后的所述第二编码器获得第二背景特征，其中第二队列为多个队列中任一队列，且第一队列和第二队列为不同队列；根据所述第二目标特征和所述第二背景特征计算损失值，以此类推直到所述损失值小于或者等于预设损失值。通过对目标图像和背景图像划分队列后进行特征提取，减少了编码器识别图片的时间，同时采用反向传播，使编码器能够有效的学习和优化，提高了编码器的性能和泛化能力。
进一步的，基于上述编码器的训练方法所示的实施例，每个队列中损失部分图像位于队首，非损失部分图像位于队尾。
具体的，由于每个队列均包括有损失部分图像和非损失部分图像，在实际运行过程中，需要选择损失部分图像输入第一编码器中，选择非损失部分图像输入第二编码器中，如果每个队列中的图像都是无序的，则在输入之前需要对每个队列中图像进行识别，确定损失部分图像和非损失部分图像，如此增加了识别步骤，增加了算法的运行时间。因此在本实施例中，在划分队列后，将目标图像置于队列的队首，将背景图像的放置在队尾，由于每个队的损失部分图像的数量是固定的，背景图像的数量也是固定的，因此将队列划分为队首和队尾，即可选择队列中固定数量的目标图像.输入第一编码器，选择背景图像的输入第二编码器即可，无需对队列中图像进行识别，从而提高了效率。
进一步的，基于上述编码器的训练方法所示的实施例，所述将所述目标图像与所述背景图像划分为多个队列，其中各队列中图像总数相同，且各队列中的所述目标图像与所述背景图像的数量比为预设比，可以替换为：
每次从目标图像选取第一数量目标图像与从背景图像选取第二数量背景图像作为一队列，其中每次队列选择的图像均不完全相同。
具体的，本实施例中从第一图像数据集选取第一固定数量的目标图像与从第二图像数据集选取第二固定数量的背景图像组成一队列，由于队列中的损伤部分分图像和背景图像都是固定的。本实施例中与上一实施例根据将所述目标图像与所述背景图像划分为多个队列的区别在于，本实施例中队列仅有一个，但是每轮计算过程中对应的队列中图像均不完全相同，而上一实施例中将所述目标图像与所述背景图像划分为多个队列的方式是一次划分了多个队列，每轮计算过程中使用了不同的队列，从而达到使用不同图像计算的目的。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，本申请提供一种图像编码器训练装置，所述图像编码器训练装置包括：
第一获取模块510，用于获得图像数据集和检测区域数据集，所述检测区域数据集中各数据与所述图像数据集中存在损失区域的图像一一对应；
划分模块520，用于根据所述图像数据集和检测区域数据集将所述图像数据集中的图像划分为目标图像和背景图像；
特征提取模块530，用于利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征；
损失计算模块540，用于利用预设第一损失函数获取所述目标特征和所述背景特征之间的损失值；
反向传播模块550，用于根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值；
第二获取模块560，用于根据所述损失值小于或者等于预设损失值对应的第一编码器和第二编码器获得图像编码器。
在一些实施例中，反向传播模块550还用于：
调用划分模块520执行：将所述目标图像与所述背景图像划分为多个队列，其中各队列中图像总数相同，且各队列中的所述目标图像与所述背景图像的数量比为预设比；
调用特征提取模块530执行：将第一队列中的所述目标图像输入第一编码器获得第一目标特征，将第一队列中的所述背景图像输入第二编码器获得第一背景特征，其中第一队列为多个队列中的一个；
调用损失计算模块540执行：根据预设第一损失函数获取所述第一目标特征与所述第一背景特征的第一损失值；
若第一损失值大于预设损失值，将所述第一损失值反向传播至第一编码器进行梯度下降得到更新后的第一编码器，并通过预设值逐步调整第二编码器，同时将第二队列中的所述目标图像输入所述更新后的第一编码器获得第二目标特征，将第二队列中的所述背景图像输入调整后的所述第二编码器获得第二背景特征，其中第二队列为多个队列中任一队列，且第一队列和第二队列为不同队列；
根据所述第二目标特征和所述第二背景特征计算损失值，以此类推直到所述损失值小于或者等于预设损失值。
在一些实施例中，每个队列中目标图像位于队首，背景图像位于队尾。
在一些实施例中，划分模块520，还用于：
每次从目标图像选取第一数量目标图像与从背景图像选取第二数量背景图像作为一队列，其中每次队列选择的图像均不完全相同。
其中，上述图像编码器训练装置中各个模块与上述图像编码器的训练方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
在一个实施例中，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时，实现如上述的编码器的训练方法实施例的步骤。
其中，计算机程序被执行时所实现的方法可参照本申请编码器的训练方法的各个实施例，此处不再赘述。
参照图6，本申请提供了一种模型的训练方法。以该方法应用于图2中的终端为例进行说明，所述模型的训练方法包括：
S210，获取训练集图像与掩码操作后的训练集图像的标注框。
具体的，本申请应用于计算机设备、服务器等用于叶片故障检测的设备中，该设备可以接受外界传输的风机叶片的图像作为图像数据集，或者通过摄像模块获取风机叶片的图像作为数据集图像。
其中，如图7所示，掩码操作可以为将真实标签(Ground 1)内的像素值设置为1，其余像素值为0。
S220，根据所述训练集图像和所述掩码操作后的训练集图像的标注框和U-Net神经网络初始模型进行模型训练获得训练好的所述U-Net神经网络模型。
其中，所述U-Net神经网络模型结构如图8所示，其中U-Net神经网络模型中的图像编码器是由上述编码器的训练方法所示的实施例获得。本申请中U-Net神经网络模型与现有技术中U-Net神经网络模型的区别在于：1、本申请中U-Net神经网络模型在下采样和上采样之间设置了图像编码器（即图9中所示的自注意力编码器）；2、每次上采样过程中需要将上一次上采样结果与同样大小的下采样结果进行拼接，拼接是将两部分的图像合并在一起。
在本实施例中，通过根据所述训练集图像和所述掩码操作后的训练集图像的标注框和U-Net神经网络模型进行模型训练获得训练好的所述U-Net神经网络模型，通过图像编码器能够快速确定目标位置，从而无需对其他位置进行识别，因此简化了模型的训练，提高了图像检测的效率。
进一步的，本发明模型的训练方法一实施例中，步骤S220：所述根据所述训练集图像和所述掩码操作后的训练集图像的标注框和U-Net神经网络模型进行模型训练获得训练好的所述U-Net神经网络模型，其中U-Net神经网络模型中的图像编码器是由上述编码器的训练方法所示的实施例获得的步骤，具体可以包括：
S211，根据所述U-Net神经网络模型获取所述训练集图像的模型预测值；
具体的，根据所述U-Net神经网络模型获取所述训练集图像的模型预测值feature。
S212，根据预设第二损失函数获取所述模型预测值与所述掩码操作后的训练集图像的标注框的损失值；
其中，预设第二损失函数可以为DiceLoss损失函数，具体可以根据需要选择不同的损失函数进行计算，此处不做限定。Dice Loss是一种用于图像分割任务的损失函数，主要用于平衡测量结果与真实标签之间的相似度，Dice Loss能够平衡正负样本之间的比例，避免了数据不平衡对模型训练的影响，其次该损失函数对噪声和一铲子具有较强的鲁棒性，能够在一定程度上较少异常像素对损失函数的影响并且在梯度计算时能够较好的传播，有助于模型的收敛。DiceLoss表达式如下：
具体的，根据预设第二损失函数获取所述模型预测值feature与所述掩码操作后的训练集图像的标注框mask的损失值。
S213，根据所述损失值调整所述U-Net神经网络模型，直到所述损失值小于预设损失值；
具体的，将所述损失值反向传播至所述U-Net神经网络模型进行更新，直到所述损失值小于预设损失值，反向传播停止。
S214，根据所述损失值小于或者等于预设损失值对应的U-Net神经网络模型获取训练好的U-Net神经网络模型。
在本实施例中，通过对数据集图像的目标框进行掩码操作，与所述U-Net神经网络模型模型提取得到的模型预测值拟合，提高了模型训练的效率。
进一步的，本发明模型的训练方法一实施例中，步骤S212：根据预设第二损失函数获取所述模型预测值与所述掩码操作后的训练集图像的标注框的损失值的步骤，具体可以包括：
S2121，获取所述模型预测值像素级别展平后的第一向量。
S2122，获取所述掩码操作后的训练集图像的标注框像素级别展平后的第二向量。
S2123，根据预设第二损失函数获取所述第一向量和所述第二向量的损失值。
具体的，获取所述模型预测值像素级别展平后的第一向量。获取所述掩码操作后的训练集图像的标注框像素级别展平后的第二向量。根据预设第二损失函数获取所述第一向量和所述第二向量的损失值。
示例性的，如图9所示，本实施例在对U-net神经网络模型进行训练过程中，先将图像x输入至对U-net神经网络模型，获得对应的特征向量，然后将特征向量进行像素级别展平获得第一向量，然后根据图像x的目标框掩码mask进行像素级别展平，从而获得第二向量，计算第一向量和第二向量之间的损失值，在损失值大于对应的损失阈值时，将计算获得的损失值进行反向传播至U-net神经网络模型，修改U-net神经网络模型的参数，然后重复执行上述步骤，直到第一向量和第二向量之间的损失值小于或者等于对应的预设损失阈值。将损失值小于或者等于对应的预设损失阈值对应的U-net神经网络模型作为训练好的U-net神经网络模型。
在本实施例中，通过对所述模型预测值与所述掩码操作后的训练集图像的标注框进行像素级别展平操作后计算损失值，保留了更多的空间信息，更利于计算损失值，提高结果的准确性。本实施例中网络模型与现有技术中各网络模型使用过程中对比，如下表所示：
其中，参数量是指模型训练中的需要训练的参数总数，用来衡量模型的大小；计算速度为每秒浮点运算次数，是衡量硬件性能的指标；图像大小表示模型训练中图像数据集的图像大小；每秒传输帧数是网络每秒可以处理多少张图片；测试平均精度是指模型训练中的精度的均值；YOLOX(You Only Look Once X)是一种将图像划分为网络并进行目标检测的算法，Faster-RCNN（Faster Regions with Convolutional Neural Network）是一种基于深度学习的目标检测算法，SSD（Single Shot MultiBox Detector）是一种单次多框目标检测算法，DETR（DEtection TRansformer）是一种直接集预测模型。根据试验对比可知，本申请中模型参数量远远小于目前现有技术中模型的参数量，浮点运行次数也远远小于目前现有技术中模型的浮点运行次数，每秒传输的图像的帧数远远大于目前现有技术中模型的每秒传输的图像的帧数，即运行速度比现有技术中模型更快。而本申请中模型的精度处于中等水平。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，参照图10，本申请提供一种U-Net神经网络模型的训练装置，所述U-Net神经网络模型的训练装置包括：
获取模块1010，获取训练集图像与掩码操作后的训练集图像的标注框；
训练模块1020，根据所述训练集图像和所述掩码操作后的训练集图像的标注框对U-Net神经网络初始模型进行训练，获得训练好的U-Net神经网络模型，其中U-Net神经网络初始模型中的图像编码器是由上述U-Net神经网络模型的训练方法中任一实施例所述的方法获得。
在一些实施例中，所述训练模块1020，还用于：
根据所述U-Net神经网络初始模型获取所述训练集图像的模型预测值；
根据预设第二损失函数获取所述模型预测值与所述掩码操作后的训练集图像的标注框的损失值；
根据所述损失值调整所述U-Net神经网络初始模型，直到所述损失值小于预设损失值；
根据所述损失值小于或者等于预设损失值对应的U-Net神经网络模型获取训练好的U-Net神经网络模型。
在一些实施例中，所述训练模块1020，还用于：
获取所述模型预测值像素级别展平后的第一向量；
获取所述掩码操作后的训练集图像的标注框像素级别展平后的第二向量；
根据预设第二损失函数获取所述第一向量和所述第二向量的损失值。
其中，上述模型训练装置中各个模块与上述模型训练方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
在一个实施例中，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时，实现如上述的U-Net神经网络模型的训练方法实施例的步骤。
其中，计算机程序被执行时所实现的方法可参照本申请模型的训练方法的各个实施例，此处不再赘述。
参照图11、图12与图13，本申请提供了一种叶片的故障检测方法，所述叶片的故障检测方法包括：
S310，获取叶片的待检测图像；
本申请应用于计算机设备、服务器等用于叶片故障检测的设备中，该设备还可以包括摄像头，通过摄像头获取到风机叶片的图像作为图像数据集，或者该设备还可以接受外界设备传输的风机叶片的图像作为图像数据集。
S320，通过预设U-Net神经网络模型获取所述叶片的待检测图像的模型预测图；
其中，所述预设U-Net神经网络模型根据上述模型的训练方法任一实施例得到。
具体的，通过所述U-Net神经网络模型获取所述叶片的待检测图像的模型预测图。如图8所示，将叶片的待检测图像输入至U-Net神经网络模型，依次经过多个下采样层，每个下采样层对上一层才采样的结果进行2倍下采样，最后一层下采样层输出结果输入图像编码器中，然后识别出图像中的目标位置后，输入至最后一层上采样层，输出结果与尺寸大小相同的下采样层输出结果进行拼接，然后输入倒数第二上采样层，依次类推，从而获得与待检测图像图像大小相同的预测图像。
S330，对所述模型预测图依次进行图像侵蚀处理、置信度控制和聚类处理，获得包括采用预设形状框标注故障位置的故障检测结果图。
具体的，对所述模型预测图依次进行图像侵蚀处理、置信度控制、K-means聚类操作，生成矩形框Pbox，得到最终结果并显示在图像上。
在本实施例中，通过获取叶片的待检测图像，并通过预设U-Net神经网络模型获取所述叶片的待检测图像的模型预测图，对所述模型预测图依次进行图像侵蚀处理、置信度控制和聚类处理，获得包括采用预设形状框标注故障位置的故障检测结果图。通过使用上述模型的训练方法实施例所示的U-Net神经网络模型，提高了叶片的故障图像检测效率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，参照图14，本申请提供一种叶片的故障检测装置，所述叶片的故障检测装置包括：
获取模块1410，用于获取叶片的待检测图像；
模型预测模块1420，用于通过预设U-Net神经网络模型获取所述叶片的待检测图像的模型预测图，其中，所述预设U-Net神经网络模型根据上述模型的训练方法任一实施例得到；
处理模块1430，用于对所述模型预测图依次进行图像侵蚀处理、置信度控制和聚类处理，获得包括采用预设形状框标注故障位置的故障检测结果图。
其中，上述叶片的故障检测装置中各个模块与上述叶片的故障检测方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
在一个实施例中，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时，实现如上述的叶片的故障检测方法的步骤。
其中，计算机程序被执行时所实现的方法可参照本申请叶片的故障检测方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种图像编码器的训练方法，其特征在于，所述图像编码器的训练方法包括：
获得图像数据集和检测区域数据集，所述检测区域数据集中各数据与所述图像数据集中存在损失区域的图像一一对应；
根据所述图像数据集和检测区域数据集将所述图像数据集中的图像划分为目标图像和背景图像；
利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征；
利用预设第一损失函数获取所述目标特征和所述背景特征之间的损失值；
根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值；
根据所述损失值小于或者等于预设损失值对应的第一编码器和第二编码器获得图像编码器；
其中，所述根据所述损失值调整所述第一编码器，根据预设值逐步调整所述第二编码器，所述预设值接近0，并返回：利用第一编码器对所述目标图像进行特征提取获得目标特征，并利用第二编码器对所述背景图像进行特征提取获得背景特征，直到所述损失值小于或者等于预设损失值的步骤，包括：
将所述目标图像与所述背景图像划分为多个队列，其中各队列中图像总数相同，且各队列中的所述目标图像与所述背景图像的数量比为预设比；
将第一队列中的所述目标图像输入第一编码器获得第一目标特征，将第一队列中的所述背景图像输入第二编码器获得第一背景特征，其中第一队列为多个队列中的一个；
根据预设第一损失函数获取所述第一目标特征与所述第一背景特征的第一损失值；
若第一损失值大于预设损失值，将所述第一损失值反向传播至第一编码器进行梯度下降得到更新后的第一编码器，并通过预设值逐步调整第二编码器，同时将第二队列中的所述目标图像输入所述更新后的第一编码器获得第二目标特征，将第二队列中的所述背景图像输入调整后的所述第二编码器获得第二背景特征，其中第二队列为多个队列中任一队列，且第一队列和第二队列为不同队列；
根据所述第二目标特征和所述第二背景特征计算损失值，以此类推直到所述损失值小于或者等于预设损失值。
2.如权利要求1所述的训练方法，其特征在于，每个队列中目标图像位于队首，背景图像位于队尾。
3.如权利要求1所述的训练方法，其特征在于，所述将所述目标图像与所述背景图像划分为多个队列，其中各队列中图像总数相同，且各队列中的所述目标图像与所述背景图像的数量比为预设比，替换为：
每次从目标图像选取第一数量目标图像与从背景图像选取第二数量背景图像作为一队列，其中每次队列选择的图像均不完全相同。
4.一种U-Net神经网络模型的训练方法，特征在于，所述训练方法包括：
获取训练集图像与掩码操作后的训练集图像的标注框；
根据所述训练集图像和所述掩码操作后的训练集图像的标注框对U-Net神经网络初始模型进行训练，获得训练好的U-Net神经网络模型，其中U-Net神经网络初始模型中的图像编码器是由权利要求1-3中的任意一项所述的训练方法获得。
5.如权利要求4所述的训练方法，其特征在于，所述根据所述训练集图像和所述掩码操作后的训练集图像的标注框对U-Net神经网络初始模型进行训练，获得训练好的U-Net神经网络模型，其中U-Net神经网络初始模型中的图像编码器是由权利要求1-3中的任意一项所述的训练方法获得，包括：
根据所述U-Net神经网络初始模型获取所述训练集图像的模型预测值；
根据预设第二损失函数获取所述模型预测值与所述掩码操作后的训练集图像的标注框的损失值；
根据所述损失值调整所述U-Net神经网络初始模型，直到所述损失值小于预设损失值；
根据所述损失值小于或者等于预设损失值对应的U-Net神经网络模型获取训练好的U-Net神经网络模型。
6.如权利要求5所述的训练方法，其特征在于，所述根据预设第二损失函数获取所述模型预测值与所述掩码操作后的训练集图像的标注框的损失值，包括：
获取所述模型预测值像素级别展平后的第一向量；
获取所述掩码操作后的训练集图像的标注框像素级别展平后的第二向量；
根据预设第二损失函数获取所述第一向量和所述第二向量的损失值。
7.一种叶片的故障检测方法，其特征在于，所述叶片的故障检测方法包括：
获取叶片的待检测图像；
通过预设U-Net神经网络模型获取所述叶片的待检测图像的模型预测图，其中，所述预设U-Net神经网络模型根据权利要求4-6任一方法训练得到；
对所述模型预测图依次进行图像侵蚀处理、置信度控制和聚类处理，获得包括采用预设形状框标注故障位置的故障检测结果图。
8.一种叶片的故障检测装置，其特征在于，所述装置包括：
获取模块，用于获取叶片的待检测图像；
模型预测模块，用于通过预设U-Net神经网络模型获取所述叶片的待检测图像的模型预测图，其中，所述预设U-Net神经网络模型根据权利要求4-6任一方法训练得到；
处理模块，用于对所述模型预测图依次进行图像侵蚀处理、置信度控制和聚类处理，获得包括采用预设形状框标注故障位置的故障检测结果图。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的方法的步骤。
CN202311300362.8A 2023-10-10 2023-10-10 编码器和模型的训练方法、故障检测方法及相关设备 Active CN117036355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311300362.8A CN117036355B (zh) 2023-10-10 2023-10-10 编码器和模型的训练方法、故障检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311300362.8A CN117036355B (zh) 2023-10-10 2023-10-10 编码器和模型的训练方法、故障检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN117036355A CN117036355A (zh) 2023-11-10
CN117036355B true CN117036355B (zh) 2023-12-15

Family

ID=88624874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311300362.8A Active CN117036355B (zh) 2023-10-10 2023-10-10 编码器和模型的训练方法、故障检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN117036355B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法
CN111310775A (zh) * 2018-12-11 2020-06-19 Tcl集团股份有限公司 数据训练方法、装置、终端设备及计算机可读存储介质
CN111582059A (zh) * 2020-04-20 2020-08-25 哈尔滨工程大学 一种基于变分自编码器的人脸表情识别方法
CN111950329A (zh) * 2019-05-16 2020-11-17 长沙智能驾驶研究院有限公司 目标检测及模型训练方法、装置、计算机设备和存储介质
WO2021012352A1 (zh) * 2019-07-23 2021-01-28 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN113486787A (zh) * 2021-07-05 2021-10-08 广州虎牙科技有限公司 一种脸部驱动和直播方法、装置、计算机设备和存储介质
CN113780194A (zh) * 2021-09-15 2021-12-10 北京京东尚科信息技术有限公司 多模态预训练方法和装置
CN113822428A (zh) * 2021-08-06 2021-12-21 中国工商银行股份有限公司 神经网络训练方法及装置、图像分割方法
CN114283164A (zh) * 2022-03-02 2022-04-05 华南理工大学 基于UNet3+的乳腺癌病理切片图像分割预测系统
CN114445831A (zh) * 2022-01-14 2022-05-06 北京百度网讯科技有限公司 一种图文预训练方法、装置、设备以及存储介质
CN114494718A (zh) * 2021-12-31 2022-05-13 特斯联科技集团有限公司 一种图像分类方法、装置、存储介质及终端
CN115880266A (zh) * 2022-12-27 2023-03-31 深圳市大数据研究院 一种基于深度学习的肠道息肉检测系统和方法
WO2023071531A1 (zh) * 2021-10-25 2023-05-04 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN116129141A (zh) * 2023-01-13 2023-05-16 腾讯科技（深圳）有限公司 医学数据处理方法、装置、设备、介质和计算机程序产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182929B2 (en) * 2019-02-25 2021-11-23 Center For Deep Learning In Electronics Manufacturing, Inc. Methods and systems for compressing shape data for electronic designs
US10949715B1 (en) * 2019-08-19 2021-03-16 Neon Evolution Inc. Methods and systems for image and voice processing
CN111739078B (zh) * 2020-06-15 2022-11-18 大连理工大学 一种基于上下文注意力机制的单目无监督深度估计方法
CN113408471B (zh) * 2021-07-02 2023-03-28 浙江传媒学院 一种基于多任务深度学习的无绿幕人像实时抠图算法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310775A (zh) * 2018-12-11 2020-06-19 Tcl集团股份有限公司 数据训练方法、装置、终端设备及计算机可读存储介质
CN111950329A (zh) * 2019-05-16 2020-11-17 长沙智能驾驶研究院有限公司 目标检测及模型训练方法、装置、计算机设备和存储介质
WO2021012352A1 (zh) * 2019-07-23 2021-01-28 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法
CN111582059A (zh) * 2020-04-20 2020-08-25 哈尔滨工程大学 一种基于变分自编码器的人脸表情识别方法
CN113486787A (zh) * 2021-07-05 2021-10-08 广州虎牙科技有限公司 一种脸部驱动和直播方法、装置、计算机设备和存储介质
CN113822428A (zh) * 2021-08-06 2021-12-21 中国工商银行股份有限公司 神经网络训练方法及装置、图像分割方法
CN113780194A (zh) * 2021-09-15 2021-12-10 北京京东尚科信息技术有限公司 多模态预训练方法和装置
WO2023071531A1 (zh) * 2021-10-25 2023-05-04 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN114494718A (zh) * 2021-12-31 2022-05-13 特斯联科技集团有限公司 一种图像分类方法、装置、存储介质及终端
CN114445831A (zh) * 2022-01-14 2022-05-06 北京百度网讯科技有限公司 一种图文预训练方法、装置、设备以及存储介质
CN114283164A (zh) * 2022-03-02 2022-04-05 华南理工大学 基于UNet3+的乳腺癌病理切片图像分割预测系统
CN115880266A (zh) * 2022-12-27 2023-03-31 深圳市大数据研究院 一种基于深度学习的肠道息肉检测系统和方法
CN116129141A (zh) * 2023-01-13 2023-05-16 腾讯科技（深圳）有限公司 医学数据处理方法、装置、设备、介质和计算机程序产品

Also Published As

Publication number Publication date
CN117036355A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN113971751A (zh) 训练特征提取模型、检测相似图像的方法和装置
CN113763327B (zh) 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN109902588B (zh) 一种手势识别方法、装置及计算机可读存储介质
CN115456167B (zh) 轻量级模型训练方法、图像处理方法、装置及电子设备
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN112085056A (zh) 目标检测模型生成方法、装置、设备及存储介质
CN112149590A (zh) 一种手部关键点检测方法
CN112989995A (zh) 文本检测方法、装置及电子设备
CN114529583B (zh) 基于残差回归网络的电力设备跟踪方法及跟踪系统
CN117253044A (zh) 一种基于半监督交互学习的农田遥感图像分割方法
CN117011772B (zh) 一种输电线路的风险提示方法、装置和存储介质
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN117036355B (zh) 编码器和模型的训练方法、故障检测方法及相关设备
CN117336526A (zh) 视频生成方法、装置、存储介质及电子设备
US11961249B2 (en) Generating stereo-based dense depth images
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN113379592B (zh) 图片中敏感区域的处理方法、装置和电子设备
CN114662688A (zh) 模型的训练方法、数据处理方法、装置、电子设备及介质
CN113989568A (zh) 目标检测方法、训练方法、装置、电子设备以及存储介质
CN117372261B (zh) 基于卷积神经网络的分辨率重建方法、装置、设备及介质
CN117788963B (zh) 一种基于深度学习的遥感影像数据管理方法及系统
CN117746069B (zh) 以图搜图的模型训练方法、和以图搜图方法
CN117967502A (zh) 风力发电机组的偏航角度估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant