CN115249239B - 基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备 - Google Patents

基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备

Info

Publication number
CN115249239B
CN115249239B CN202210790756.5A CN202210790756A CN115249239B CN 115249239 B CN115249239 B CN 115249239B CN 202210790756 A CN202210790756 A CN 202210790756A CN 115249239 B CN115249239 B CN 115249239B
Authority
CN
China
Prior art keywords
defect
fan blade
image
defect image
blade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210790756.5A
Other languages
English (en)
Other versions
CN115249239A (zh
Inventor
吴昊
王恩民
任鑫
杭兆峰
姚中原
潘赫男
周国栋
陶伟
周峰峰
陈石
施俊佼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaneng Power International Jiangsu Energy Development Co Ltd
Huaneng Yancheng Dafeng New Energy Power Generation Co ltd
Huaneng Clean Energy Research Institute
Clean Energy Branch of Huaneng International Power Jiangsu Energy Development Co Ltd Clean Energy Branch
Original Assignee
Huaneng Power International Jiangsu Energy Development Co Ltd
Huaneng Yancheng Dafeng New Energy Power Generation Co ltd
Huaneng Clean Energy Research Institute
Clean Energy Branch of Huaneng International Power Jiangsu Energy Development Co Ltd Clean Energy Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaneng Power International Jiangsu Energy Development Co Ltd, Huaneng Yancheng Dafeng New Energy Power Generation Co ltd, Huaneng Clean Energy Research Institute, Clean Energy Branch of Huaneng International Power Jiangsu Energy Development Co Ltd Clean Energy Branch filed Critical Huaneng Power International Jiangsu Energy Development Co Ltd
Priority to CN202210790756.5A priority Critical patent/CN115249239B/zh
Publication of CN115249239A publication Critical patent/CN115249239A/zh
Application granted granted Critical
Publication of CN115249239B publication Critical patent/CN115249239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Control Of Positive-Displacement Air Blowers (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备，该方法针对风机叶片不同的缺陷类型，基于CycleGAN生成多个缺陷图像生成模型；利用CycleGAN模型，能够将正常的风机叶片图像生成不同类型的缺陷图像，解决风机叶片缺陷图像稀少的问题；利用原始的缺陷图像和生成的大量不同类型的风机叶片缺陷图像，基于YOLO训练一个风机叶片图像缺陷识别模型，解决风机叶片图像缺陷识别准确率不高的问题。通过本发明，能够将大量风机叶片的正常图像转换成大量的叶片缺陷图像，从而给叶片图像缺陷识别模型提供充足的缺陷图像数据，提升识别模型的缺陷识别效果。

Description

基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及 设备
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法、装置、设备及介质。
背景技术
随着风电行业的飞速发展，风力发电在我国能源结构中的地位越来越高。由于长时间运行许多机组已经超出质保期，风电机组的检修维护正在成为制约风电产业飞速发展的瓶颈。据统计，风机的检修维护费用约占风力发电总成本的1/5。风电机组大多工作在恶劣复杂的环境下长期运行，受风况多变的影响叶片负载不断快速切变，叶片表面容易产生砂眼、裂纹、剥皮等缺陷。风机叶片是将风能转化为电能的重要零件，也是机组的易损部件，叶片缺陷会对风机的安全运行和发电效率造成严重影响。
随着智能设备和图像技术的不断发展，最近有研究基于无人机进行叶片图像缺陷识别。无人机配备高清摄像机可以进行航迹规划自动巡检，准确清晰捕捉风机叶片的表面，并将拍摄到的高清图像或视频进行无线传输；然后通过深度学习算法对叶片图像进行智能识别，自动识别叶片缺陷并进行精准定位。然而，由于叶片图像缺陷识别方法主要通过深度学习算法实现，而深度学习模型通常需要大量图片样本进行模型训练，由于无人机技术在叶片巡检领域的发展才刚刚起步，虽然拍摄的正常叶片图像数据量充足，但是叶片缺陷图像极度缺失。大量风机叶片图像缺陷识别的研究中提到，由于训练集中缺陷样本数量非常有限，导致模型的泛化能力不足，使模型出现缺陷漏报、误报的现象。
发明内容
本发明提供一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备，旨在将大量风机叶片的正常图像转换成大量的叶片缺陷图像，从而给叶片图像缺陷识别模型提供充足的缺陷图像数据，提升识别模型的缺陷识别效果。
为此，本发明的目的在于提出一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法，包括：
构建风机叶片缺陷图像生成及缺陷识别网络，风机叶片缺陷图像生成及缺陷识别网络包括风机叶片缺陷图像生成网络和风机叶片缺陷图像识别网络；
获取风机叶片图像数据集，划分风机叶片正常图像和风机叶片缺陷图像，并对风机叶片缺陷图像的缺陷类型和缺陷位置进行标记；通过标记后的风机叶片图像数据集对风机叶片缺陷图像生成网络进行训练；基于训练完成的风机叶片缺陷图像生成网络生成的风机叶片缺陷图像，训练风机叶片缺陷图像识别网络；
将实时拍摄的风机叶片缺陷图像输入训练完成的风机叶片缺陷图像识别网络，输出结果即为对拍摄的风机叶片缺陷图像的缺陷识别结果。
其中，将风机叶片图像数据集划分为风机叶片正常图像数据集和N个类型的风机叶片缺陷图像数据集；N为缺陷类型，至少包括胶衣脱落、油漆脱落、开裂、表面裂纹、腐蚀、油污、砂眼及结冰。
其中，风机叶片缺陷图像生成网络使用CycleGAN模型结构，风机叶片缺陷图像生成网络设计与缺陷类型数量相同的风机叶片缺陷图像生成子网络，每一风机叶片缺陷图像生成子网络包括2个生成器G、F和2个判别器DX、DY；每一风机叶片缺陷图像生成子网络的输入为一张风机叶片正常图像X和一张具有缺陷类型中的一种缺陷的风机叶片缺陷图像Y，生成器G通过输入风机叶片正常图像X，生成一张与风机叶片缺陷图像Y的缺陷类型相同的风机叶片缺陷图像X’；生成器F通过输入风机叶片缺陷图像Y，生成一张风机叶片正常图像Y’；DX用于区分真实风机叶片正常图像X和生成的风机叶片正常图像Y’，DY用于真实区分风机叶片缺陷图像Y和生成的风机叶片缺陷图像X’。
其中，每一风机叶片缺陷图像生成子网络用于生成一种指定类型的风机叶片缺陷；通过将指定类型的风机叶片缺陷图像和风机叶片正常图像，输入对应的风机叶片缺陷图像生成子网络进行训练，利用Adam优化器对风机叶片缺陷图像生成子网络模型参数进行更新。
其中，利用Adam优化器对风机叶片缺陷图像生成子网络模型参数进行更新的步骤中，包括：
设定第一损失函数，结合输入的风机叶片正常图像X和具有缺陷类型中的一种缺陷的风机叶片缺陷图像Y，训练生成器G和生成器F；第一损失函数公式表示为：
其中，LossGAN表示使生成器G生成的风机叶片缺陷图像尽可能被判别器DY判定为真实风机叶片缺陷图像；使生成器F生成的风机叶片正常图像尽可能被判别器DX判定为真实风机叶片正常图像；表示为：
LossCycle表示将生成的风机叶片缺陷图像输入生成器F使其能够尽可能恢复原图，将生成的风机叶片正常图像输入生成器G使其能够尽可能恢复原图；表示为：
LossIdentity′表示保证生成器G、F生成的图像与输入的图像在内容上基本保持一致，仅实现正常和缺陷图像的转换；表示为：
设定第二损失函数，通过输入真实风机叶片正常图像X和生成的风机叶片正常图像Y'训练判别器DX，其目的是区分真实和生成的风机叶片正常图像；表示为：
设定第三损失函数，通过输入真实风机叶片缺陷图像Y和生成的风机叶片缺陷图像X’训练判别器DY，其目的是区分真实和生成的风机叶片缺陷图像；表示为：
通过迭代训练，当达到迭代次数时，停止迭代训练，输出生成器G、F和判别器Dx、Dy。
其中，将风机叶片正常图像数据集输入训练完成的每一风机叶片缺陷图像生成子网络，生成对应缺陷类型的风机叶片缺陷图像数据集，作为风机叶片缺陷图像识别网络的训练数据。
其中，风机叶片缺陷图像识别网络为YOLO网络模型，通过风机叶片图像数据集中的风机叶片缺陷图像和通过风机叶片缺陷图像生成网络生成的风机叶片缺陷图像训练风机叶片缺陷图像识别网络；训练完成后，将实时获取的风机叶片缺陷图像输入训练完成的风机叶片缺陷图像识别网络中，输出结果为对实时获取的风机叶片缺陷图像的缺陷类型识别结果。
此外，本发明的目的还在于提出一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别装置，包括：
模型构建模块，用于构建风机叶片缺陷图像生成及缺陷识别网络，风机叶片缺陷图像生成及缺陷识别网络包括风机叶片缺陷图像生成网络和风机叶片缺陷图像识别网络；
模型训练模块，用于获取风机叶片图像数据集，划分风机叶片正常图像和风机叶片缺陷图像，并对风机叶片缺陷图像的缺陷类型和缺陷位置进行标记；通过标记后的风机叶片图像数据集对风机叶片缺陷图像生成网络进行训练；基于训练完成的风机叶片缺陷图像生成网络生成的风机叶片缺陷图像，训练风机叶片缺陷图像识别网络；
缺陷识别模块，用于将实时拍摄的风机叶片缺陷图像输入训练完成的风机叶片缺陷图像识别网络，输出结果即为对拍摄的风机叶片缺陷图像的缺陷识别结果。
本发明的目的还在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案任一的方法。
本发明的目的还在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述技术方案的方法。
区别于现有技术，本发明提供的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法，针对风机叶片不同的缺陷类型，基于CycleGAN生成多个缺陷图像生成模型；利用CycleGAN模型，能够将正常的风机叶片图像生成不同类型的缺陷图像，解决风机叶片缺陷图像稀少的问题；利用原始的缺陷图像和生成的大量不同类型的风机叶片缺陷图像，基于YOLO训练一个风机叶片图像缺陷识别模型，解决风机叶片图像缺陷识别准确率不高的问题。通过本发明，能够将大量风机叶片的正常图像转换成大量的叶片缺陷图像，从而给叶片图像缺陷识别模型提供充足的缺陷图像数据，提升识别模型的缺陷识别效果。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明提供的一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法的流程示意图。
图2是本发明提供的一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法中风机叶片缺陷图像生成网络的逻辑示意图。
图3是本发明提供的一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别装置的结构示意图。
图4是本发明提供的一种非临时性计算机可读存储介质的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的一种基于单应性和重建网络的风机叶片图像拼接方法。
图1为本发明实施例所提供的一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法的流程示意图。该方法包括以下步骤：
步骤101，构建风机叶片缺陷图像生成及缺陷识别网络，风机叶片缺陷图像生成及缺陷识别网络包括风机叶片缺陷图像生成网络和风机叶片缺陷图像识别网络。
风机叶片缺陷图像生成网络使用CycleGAN模型结构，风机叶片缺陷图像生成网络设计与缺陷类型数量相同的风机叶片缺陷图像生成子网络，每一风机叶片缺陷图像生成子网络包括2个生成器G、F和2个判别器DX、DY；每一风机叶片缺陷图像生成子网络的输入为一张风机叶片正常图像X和一张具有缺陷类型中的一种缺陷的风机叶片缺陷图像Y，生成器G通过输入风机叶片正常图像X，生成一张与风机叶片缺陷图像Y的缺陷类型相同的风机叶片缺陷图像X’；生成器F通过输入风机叶片缺陷图像Y，生成一张风机叶片正常图像Y’；DX用于区分真实风机叶片正常图像X和生成的风机叶片正常图像Y’，DY用于真实区分风机叶片缺陷图像Y和生成的风机叶片缺陷图像X’。
本发明中，风机叶片缺陷图像识别网络为YOLO网络模型。
步骤102：获取风机叶片图像数据集，划分风机叶片正常图像和风机叶片缺陷图像，并对风机叶片缺陷图像的缺陷类型和缺陷位置进行标记；通过标记后的风机叶片图像数据集对风机叶片缺陷图像生成网络进行训练；基于训练完成的风机叶片缺陷图像生成网络生成的风机叶片缺陷图像，训练风机叶片缺陷图像识别网络。
将风机叶片图像数据集划分为风机叶片正常图像数据集和N个类型的风机叶片缺陷图像数据集；N为缺陷类型，至少包括胶衣脱落、油漆脱落、开裂、表面裂纹、腐蚀、油污、砂眼及结冰。
每一风机叶片缺陷图像生成子网络用于生成一种指定类型的风机叶片缺陷；通过将指定类型的风机叶片缺陷图像和风机叶片正常图像，输入对应的风机叶片缺陷图像生成子网络进行训练，利用Adam优化器对风机叶片缺陷图像生成子网络模型参数进行更新。
其中，利用Adam优化器对风机叶片缺陷图像生成子网络模型参数进行更新的步骤中，包括：
设定第一损失函数，结合输入的风机叶片正常图像X和具有缺陷类型中的一种缺陷的风机叶片缺陷图像Y，训练生成器G和生成器F；第一损失函数公式表示为：
其中，LossGAN表示使生成器G生成的风机叶片缺陷图像尽可能被判别器DY判定为真实风机叶片缺陷图像；使生成器F生成的风机叶片正常图像尽可能被判别器DX判定为真实风机叶片正常图像；表示为：
LossCycle表示将生成的风机叶片缺陷图像输入生成器F使其能够尽可能恢复原图，将生成的风机叶片正常图像输入生成器G使其能够尽可能恢复原图；表示为：
LossIdentity′表示保证生成器G、F生成的图像与输入的图像在内容上基本保持一致，仅实现正常和缺陷图像的转换；表示为：
设定第二损失函数，通过输入真实风机叶片正常图像X和生成的风机叶片正常图像Y'训练判别器DX，其目的是区分真实和生成的风机叶片正常图像；表示为：
设定第三损失函数，通过输入真实风机叶片缺陷图像Y和生成的风机叶片缺陷图像X’训练判别器DY，其目的是区分真实和生成的风机叶片缺陷图像；表示为：
通过迭代训练，当达到迭代次数时，停止迭代训练，输出生成器G、F和判别器Dx、Dy。
将风机叶片正常图像数据集输入训练完成的每一风机叶片缺陷图像生成子网络，生成对应缺陷类型的风机叶片缺陷图像数据集，作为风机叶片缺陷图像识别网络的训练数据。
风机叶片缺陷图像识别网络为YOLO网络模型，通过风机叶片图像数据集中的风机叶片缺陷图像和通过风机叶片缺陷图像生成网络生成的风机叶片缺陷图像训练风机叶片缺陷图像识别网络。
步骤103：将实时拍摄的风机叶片缺陷图像输入训练完成的风机叶片缺陷图像识别网络，输出结果即为对拍摄的风机叶片缺陷图像的缺陷识别结果。
训练完成后，将实时获取的风机叶片缺陷图像输入训练完成的风机叶片缺陷图像识别网络中，输出结果为对实时获取的风机叶片缺陷图像的缺陷类型识别结果。
如图3所示，本发明的目的还在于提出一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别装置，包括：
模型构建模块310，用于构建风机叶片缺陷图像生成及缺陷识别网络，风机叶片缺陷图像生成及缺陷识别网络包括风机叶片缺陷图像生成网络和风机叶片缺陷图像识别网络；
模型训练模块320，用于获取风机叶片图像数据集，划分风机叶片正常图像和风机叶片缺陷图像，并对风机叶片缺陷图像的缺陷类型和缺陷位置进行标记；通过标记后的风机叶片图像数据集对风机叶片缺陷图像生成网络进行训练；基于训练完成的风机叶片缺陷图像生成网络生成的风机叶片缺陷图像，训练风机叶片缺陷图像识别网络；
缺陷识别模块330，用于将实时拍摄的风机叶片缺陷图像输入训练完成的风机叶片缺陷图像识别网络，输出结果即为对拍摄的风机叶片缺陷图像的缺陷识别结果。
上述装置的实施过程与前述实施方式中的方法的实施方式相似甚至相同，此处不再赘述。
为了实现实施例，本发明还提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的风机叶片缺陷图像生成及缺陷识别方法中的各步骤。
如图4所示，非临时性计算机可读存储介质包括指令的存储器810，接口830，指令可由根据风机叶片缺陷图像生成及缺陷识别处理器820执行以完成方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的风机叶片缺陷图像生成及缺陷识别方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部 (电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法，其特征在于，包括：
构建风机叶片缺陷图像生成及缺陷识别网络，所述风机叶片缺陷图像生成及缺陷识别网络包括风机叶片缺陷图像生成网络和风机叶片缺陷图像识别网络；
获取风机叶片图像数据集，划分风机叶片正常图像和风机叶片缺陷图像，并对风机叶片缺陷图像的缺陷类型和缺陷位置进行标记；通过标记后的所述风机叶片图像数据集对所述风机叶片缺陷图像生成网络进行训练；基于训练完成的所述风机叶片缺陷图像生成网络生成的风机叶片缺陷图像，训练所述风机叶片缺陷图像识别网络；
将实时拍摄的风机叶片缺陷图像输入训练完成的所述风机叶片缺陷图像识别网络，输出结果即为对拍摄的风机叶片缺陷图像的缺陷识别结果；
所述风机叶片缺陷图像生成网络使用CycleGAN模型结构，所述风机叶片缺陷图像生成网络设计与缺陷类型数量相同的风机叶片缺陷图像生成子网络，每一风机叶片缺陷图像生成子网络包括2个生成器G、F和2个判别器、；每一风机叶片缺陷图像生成子网络的输入为一张风机叶片正常图像X和一张具有缺陷类型中的一种缺陷的风机叶片缺陷图像Y，生成器G通过输入风机叶片正常图像X，生成一张与风机叶片缺陷图像Y的缺陷类型相同的风机叶片缺陷图像X’；生成器F通过输入风机叶片缺陷图像Y，生成一张风机叶片正常图像Y’；DX用于区分真实风机叶片正常图像X和生成的风机叶片正常图像Y’，DY用于真实区分风机叶片缺陷图像Y和生成的风机叶片缺陷图像X’。
2.根据权利要求1所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法，其特征在于，将所述风机叶片图像数据集划分为风机叶片正常图像数据集和N个类型的风机叶片缺陷图像数据集；N为缺陷类型，至少包括胶衣脱落、油漆脱落、开裂、表面裂纹、腐蚀、油污、砂眼及结冰。
3.根据权利要求1所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法，其特征在于，每一风机叶片缺陷图像生成子网络用于生成一种指定类型的风机叶片缺陷；通过将指定类型的风机叶片缺陷图像和风机叶片正常图像，输入对应的风机叶片缺陷图像生成子网络进行训练，利用Adam优化器对风机叶片缺陷图像生成子网络模型参数进行更新。
4.根据权利要求3所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法，其特征在于，利用Adam优化器对风机叶片缺陷图像生成子网络模型参数进行更新的步骤中，包括：
设定第一损失函数，结合输入的风机叶片正常图像X和具有缺陷类型中的一种缺陷的风机叶片缺陷图像Y，训练生成器G和生成器F；第一损失函数公式表示为：
（1）
其中，表示使生成器G生成的风机叶片缺陷图像尽可能被判别器DY判定为真实风机叶片缺陷图像；使生成器F生成的风机叶片正常图像尽可能被判别器DX判定为真实风机叶片正常图像；表示为：
表示将生成的风机叶片缺陷图像输入生成器F使其能够尽可能恢复原图，将生成的风机叶片正常图像输入生成器G使其能够尽可能恢复原图；表示为：
表示保证生成器G、F生成的图像与输入的图像在内容上基本保持一致，仅实现正常和缺陷图像的转换；表示为：
设定第二损失函数，通过输入真实风机叶片正常图像X和生成的风机叶片正常图像Y'训练判别器DX，其目的是区分真实和生成的风机叶片正常图像；表示为：
（2）
设定第三损失函数，通过输入真实风机叶片缺陷图像Y和生成的风机叶片缺陷图像X’训练判别器DY，其目的是区分真实和生成的风机叶片缺陷图像；表示为：
（3）
通过迭代训练，当达到迭代次数时，停止迭代训练，输出生成器G、F和判别器Dx、Dy。
5.根据权利要求4所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法，其特征在于，将风机叶片正常图像数据集输入训练完成的每一风机叶片缺陷图像生成子网络，生成对应缺陷类型的风机叶片缺陷图像数据集，作为所述风机叶片缺陷图像识别网络的训练数据。
6.根据权利要求5所述的基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法，其特征在于，所述风机叶片缺陷图像识别网络为YOLO网络模型，通过风机叶片图像数据集中的风机叶片缺陷图像和通过风机叶片缺陷图像生成网络生成的风机叶片缺陷图像训练所述风机叶片缺陷图像识别网络；训练完成后，将实时获取的风机叶片缺陷图像输入训练完成的所述风机叶片缺陷图像识别网络中，输出结果为对所述实时获取的风机叶片缺陷图像的缺陷类型识别结果。
7.一种基于CycleGAN的风机叶片缺陷图像生成及缺陷识别装置，其特征在于，包括：
模型构建模块，用于构建风机叶片缺陷图像生成及缺陷识别网络，所述风机叶片缺陷图像生成及缺陷识别网络包括风机叶片缺陷图像生成网络和风机叶片缺陷图像识别网络；
模型训练模块，用于获取风机叶片图像数据集，划分风机叶片正常图像和风机叶片缺陷图像，并对风机叶片缺陷图像的缺陷类型和缺陷位置进行标记；通过标记后的所述风机叶片图像数据集对所述风机叶片缺陷图像生成网络进行训练；基于训练完成的所述风机叶片缺陷图像生成网络生成的风机叶片缺陷图像，训练所述风机叶片缺陷图像识别网络；
缺陷识别模块，用于将实时拍摄的风机叶片缺陷图像输入训练完成的所述风机叶片缺陷图像识别网络，输出结果即为对拍摄的风机叶片缺陷图像的缺陷识别结果；
所述风机叶片缺陷图像生成网络使用CycleGAN模型结构，所述风机叶片缺陷图像生成网络设计与缺陷类型数量相同的风机叶片缺陷图像生成子网络，每一风机叶片缺陷图像生成子网络包括2个生成器G、F和2个判别器、；每一风机叶片缺陷图像生成子网络的输入为一张风机叶片正常图像X和一张具有缺陷类型中的一种缺陷的风机叶片缺陷图像Y，生成器G通过输入风机叶片正常图像X，生成一张与风机叶片缺陷图像Y的缺陷类型相同的风机叶片缺陷图像X’；生成器F通过输入风机叶片缺陷图像Y，生成一张风机叶片正常图像Y’；DX用于区分真实风机叶片正常图像X和生成的风机叶片正常图像Y’，DY用于真实区分风机叶片缺陷图像Y和生成的风机叶片缺陷图像X’。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一所述的方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202210790756.5A 2022-07-06 2022-07-06 基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备 Active CN115249239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210790756.5A CN115249239B (zh) 2022-07-06 2022-07-06 基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210790756.5A CN115249239B (zh) 2022-07-06 2022-07-06 基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备

Publications (2)

Publication Number Publication Date
CN115249239A CN115249239A (zh) 2022-10-28
CN115249239B true CN115249239B (zh) 2025-08-05

Family

ID=83700359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210790756.5A Active CN115249239B (zh) 2022-07-06 2022-07-06 基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备

Country Status (1)

Country Link
CN (1) CN115249239B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119006933B (zh) * 2024-10-23 2025-04-15 广东海洋大学 一种浮式风电平台的疲劳裂纹缺陷确定方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039757A1 (ko) * 2017-08-24 2019-02-28 주식회사 수아랩 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
CN112668623A (zh) * 2020-12-22 2021-04-16 中国铁道科学研究院集团有限公司 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298190B (zh) * 2021-07-05 2023-04-07 四川大学 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法
CN113570603A (zh) * 2021-09-26 2021-10-29 国网浙江省电力有限公司电力科学研究院 一种基于CycleGAN的接触网零部件缺陷数据生成方法及系统
CN114065874B (zh) * 2021-11-30 2024-08-16 河北省科学院应用数学研究所 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039757A1 (ko) * 2017-08-24 2019-02-28 주식회사 수아랩 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
CN112668623A (zh) * 2020-12-22 2021-04-16 中国铁道科学研究院集团有限公司 基于生成对抗网络的双耳销钉缺陷样本的生成方法及装置

Also Published As

Publication number Publication date
CN115249239A (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
WO2024060529A1 (zh) 一种道路病害识别方法、系统、设备及存储介质
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN110619678B (zh) 一种基于点云匹配的电力杆塔巡检航迹生成方法
CN113688947B (zh) 一种配电设备红外图像故障识别方法及系统
CN109584178A (zh) 图像修复方法、装置和存储介质
CN112101138B (zh) 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN112581443A (zh) 一种风力发电机叶片表面损伤轻量化识别方法
CN108305239B (zh) 一种基于生成式对抗网络的桥梁裂缝图像的修复方法
CN110689495B (zh) 一种深度学习的图像修复方法
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN117152009B (zh) 隧洞激光点云空洞修补方法、装置、设备及存储介质
CN119418285A (zh) 基于drr模块和sdfm的道路缺陷检测方法
CN113869418A (zh) 一种基于全局注意力关系网络的小样本船舶目标识别方法
CN114612420A (zh) 一种基于yolo算法的输电线路可见光缺陷识别方法
CN116452604B (zh) 一种复杂变电站场景分割方法、设备及存储介质
CN117541532A (zh) 一种快速图斑缝隙检查方法、系统、设备及介质
CN116823796A (zh) 非均匀玻纤布的横条检测方法、装置、设备及介质
CN116503863A (zh) 光伏板编号方法、存储介质、控制器
CN115249239A (zh) 基于CycleGAN的风机叶片缺陷图像生成及缺陷识别方法及设备
CN120765634A (zh) 轻量化工业器件表面缺陷检测方法、系统、设备及介质
CN109919942B (zh) 基于高精度降噪理论的桥梁裂缝智能化检测方法
CN105160324A (zh) 一种基于部件空间关系的车辆检测方法
CN115393264B (zh) 无人机巡检图像的销钉级缺陷识别方法
CN119006267A (zh) 基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法
CN116664521A (zh) 一种发动机叶片的缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant