CN111696075A - 一种基于双光谱图像的风机叶片缺陷智能检测方法 - Google Patents

Abstract

本发明涉及深度学习在计算机视觉技术领域的应用，具体涉及一种基于双光谱图像的风机叶片缺陷智能检测方法,本发明利用图像分割技术实现对桨叶区域的分割，实现背景的去除，提高识别的效率与准确率，通过图像处理技术将红外图像与可见光图像进行融合，再利用深度学习技术对大量的风机桨叶图像进行缺陷识别。基于大量叶片损伤缺陷数据的积累，通过大数据技术，挖掘大量叶片损伤数据中各类损伤缺陷的发展规律，构建数学模型，最终结合机器自动学习技术实现叶片缺陷及健康状态的预测和评估，融合图像处理技术及双光源成像技术，有效地提高图像信息的利用率、明显突出图像特征信息。

Description

一种基于双光谱图像的风机叶片缺陷智能检测方法

技术领域

本发明涉及深度学习在计算机视觉技术领域的应用，具体涉及一种基于双光谱图像的风机叶片缺陷智能检测方法。

背景技术

随着化石能源弊端的显现，风力和太阳能发电成为了我国重点发展的可再生能源。近些年来，随着国家对风电政策支持力度加大，设备及安装成本降低以及配套产业日渐成熟，风电项目大量投运，风电产业获得了长足的发展。目前我国已经成为世界上最大的风电产业大国，随着大量的风电机组的出保，风电运维管理问题也日益受到业内人士广泛关注。由于风电场运行环境较复杂,风机叶片全天候在高空运行，环境恶劣，长期接受风沙、污染、雷击、盐雾、台风等因素的影响，风力发电机组叶片容易出现缺陷并逐步扩展，如未能及时发现或忽视小问题，极易造成叶片甚至主机严重事故，急剧增加企业运营成本。

叶片是风机发电机组获得动力的核心部件，其长时间运行在恶劣的环境中，风机叶片极易出现雷击、裂纹、风化、浮冰、鼓包等缺陷。由于运行过程叶片的线速度大，惯性大，微小的缺陷受到力的作用，恶化的速度快。如果在缺陷发生初期及时的发现缺陷并对其修补，可延长叶片的寿命，从而提高经济效益。当缺陷发展到一定程度难以修复，甚至叶片在运行过程中因缺陷严重造成叶片直接毁坏造成机组事故。因此对风机叶片进行缺陷检测具有重要意义。

传统的风机叶片缺陷检测为人工巡检，后续逐步发展出了地面设备巡检和无人机巡检的巡检方式。人工巡检是检修人员通过吊索、辅助支撑台架或望远镜，接近到叶片或借助望远镜用肉眼识别叶片上的缺陷的检测的方式，此方式周期长、风险大、受制于环境影响因素多。地面设备巡检指地面架设检测设备或使用遥控检测设备，对风机各部位进行检测。受观测角度、环境因素的制约也比较大。无人机的巡检方式为由无人机搭载高清可见光图像采集设备对叶片表面的图像进行采集，同时将采集的图像实时传输到地面端，可以在三个维度任意方向，随意控制检测设备与被检测风机部件之间的距离和角度，从而提高检测效率，且受环境影响因素较小。地面工作人员通过图像对叶片进行人工检测，从而发现叶片是否有缺陷。整个过程需要高度专业的人员对大量图像反复查验，随着人员的疲劳会导致对图像的检测效率降低、漏检率随之增加，且无人机采集图像的效率较高，单靠人眼检测无法满足对图像检测的需求。此外，可见光图像只能检测风机叶片表面的缺陷，对风机叶片内部的缺陷无能为力，且可见光图像采集过程中易受到太阳光的影响。从而衍生出基于双光谱(可见光+红外光) 图像的风机叶片缺陷智能检测平台自动对无人机拍摄的风机叶片图像进行自动分析，减少人员的负荷，提高工作效率。

随着无人机技术、人工智能及无损检测技术的发展，深度学习技术在图像数据挖掘方面的应用越来越成熟。利用图像分割技术实现对桨叶区域的分割，实现背景的去除，提高识别的效率与准确率，通过图像处理技术将红外图像与可见光图像进行融合，再利用深度学习技术对大量的风机桨叶图像进行缺陷识别。基于大量叶片损伤缺陷数据的积累，通过大数据技术，挖掘大量叶片损伤数据中各类损伤缺陷的发展规律，构建数学模型，最终结合机器自动学习技术实现叶片缺陷及健康状态的预测和评估。将会为整个风电运维行业的健康发展，提供有力的技术保障。

发明内容

针对现有技术的不足，本发明公开了一种基于双光谱图像的风机叶片缺陷智能检测方法，本发明基于大量叶片损伤缺陷数据的积累，通过大数据技术，挖掘大量叶片损伤数据中各类损伤缺陷的发展规律，构建数学模型，最终结合机器自动学习技术实现叶片缺陷及健康状态的预测和评估。

本发明通过以下技术方案予以实现：

本发明公开一种基于双光谱图像的风机叶片缺陷智能检测方法，所述方法包括以下步骤：

S1标注风机叶片可见光图像叶片区域，并以此构建深度学习图像分割网络模型；

S2对待检测的风机叶片可见光图像进行分割，实现桨叶区域的分割；

S3处理红外温度数据，合成对比性高的温度数据伪彩色图像；

S4利用可见光图像与红外图像的对应关系对红外图像分割；

S5将分割后的可见光图像与红外图像均随机划分为测试集和训练集；

S6利用已标注的风机叶片缺陷图像训练集对可见光图像与红外图像分别通过CNN网络进行特征提取；

S7通过融合关系对红外图像和可见光图像进行特征融合；

S8构建深度学习缺陷识别网络模型；

S9将S7中特征融合后的图像输入S8的缺陷识别网络模型，提取缺陷区域，并进一步输入深度学习回归网络模型，统计风机叶片的故障面积和类型。

更进一步的，所述S1中，利用已标注的风机叶片可见光图像叶片区域构建深度学习图像分割网络模型的步骤如下：

S1a对可见光图像数据库通过标注工具对标注文件进行解析，提取叶片边缘信息转化为可供网络训练的单通道mask图，生成标注文件；

S1b构建数据增广方法，其将可见光原图进行亮度、旋转、噪声、裁剪等操作进行数据增广，通过同样的变换关系对mask图进行亮度、旋转、噪声、裁剪等操作进行变换实现对样本图像进行增广；

S1c确定分割网络包含的卷积层与池化层的个数，得到分割图像的mask图，构建用于风机叶片分割的图像分割网络；

S1d将增广后的图像样本送入到训练风机叶片分割模型中进行训练；对得到的模型进行测试及评价，优化后得到最优模型。

更进一步的，所述S3中，对红外温度数据进行处理，合成对比性高的温度数据伪彩色图像的处理步骤为：

S3a对温度数据进行统计，得出最大温度值和最低温度值；

S3b对温度进行分区，根据三原色原理，把颜色分为四个区间，分别为：

蓝色到青色的温度范围为

青色到绿色的温度范围为

绿色到黄色的温度范围为

黄色到红色的温度范围为

其中：

S3c对每一个像素的温度值进行处理，对处于不同区间内的温度进行不同的处理，公式如下：

式中r表示图像的红色波段的值，g表示绿色波段的值，b

表示蓝色波段的值；

T′(V_current)公式如下，该公式中，V_min表示当前区间的最小值， V_max表示当前区间的最大值；

S3d将S3c中计算得出的红绿蓝三个波段的值进行彩色图像合成，生成可对比性高的温度数据伪彩色图像；

更进一步的，所述S4中，依据可见光图像与红外图像的对应关系实现红外图像的分割的步骤分为：

S4a通过标准的红外图像与可见光图像解析红外图像与可见光图像的对应关系，可将光成像平面与红外成像平面图像的对应特征点的像素满足单应性关系：p₁＝Hp₂其中p₁为红外图像上的一点， p₂为可见光图像上的对应点；

S4b将可见光数据库与红外图像数据库进行匹配，并对红外图像进行滤波增强；

S4c通过对应的单应性关系对可见光分割mask图进行转换为红外图像分割mask图；

S4d通过红外图像分割mask图对红外图像进行分割。

更进一步的，所述S5中，分别将分割后的可见光图像与红外图像随机划分为测试集和训练集的步骤为：

S5a分别对可见光图像与红外图像按照4:1的比例随机行成训练集与测试集；

S5b对训练集的图像利用labelimg标注工具进行缺陷标注；

S5c对训练集进行增广。

更进一步的，所述S5c中，将可见光图像与红外图像进行风格互换步骤如下：

S5ca利用生成对抗来进行风格迁移，扩增数据集；

S5cb确定生成网络与对抗网络的架构和对抗损失、重建损失、身份损失等损失函数和归一化方法，生成网络实现图像X域和Y域的转换，判别网络来判断输入图像的真假。

S5cc利用编码-解码结构学习可见光图像和红外图像之间的映射关系，实现目标域和源领域的域间转换，进行可见光图像和红外图像之间的互换。

更进一步的，所述S6中，通过训练集对可见光图像与红外图像分别通过CNN网络进行特征提取的步骤分为：

S6a：构建卷积神经网络，利用卷积神经网络的局部连接性和权值共享性，使用不同的卷积核依次对图像进行处理获取不同尺度的特征图，利用浅层卷积捕获图像的局部和细节信息，高层卷积获取复杂和抽象的信息，建立多层的卷积拓扑结构作为主干网络得到不同尺度的特征表示；

S6b：针对风机叶片的目标大小设计尺度融合层，使用特征金字塔和多尺度融合有效提取可见光图像的缺陷特征；

S6c：通过k-means聚类算法生成适合风机叶片数据集的anchor box，提高模型的定位准确度。

更进一步的，所述S7中，通过融合关系实现红外图像与可见光图像的特征融合的步骤为：

S7a将可见光特征与红外特征组成一个特征向量，计算所有特征的相似度；

S7b将相似度高的特征进行融合，形成一个特征图；相似度低的特征作为单独的特征图；

特征的融合采用加权和的策略；假设相似度高于阈值的一组特征图表示为ξ_i，其中i表示这一组特征的索引，假设相似特征的数量为N；对每个特征图，计算：

其中r为窗口直径。

权重计算公式为：

特征融合公式为：

S7c将S7b中输出的所有特征图组成特征图谱。

更进一步的，所述S8中，构建深度学习缺陷识别网络模型的步骤为：

S8a设计多尺度的网络结构，在每个尺度内通过卷积核的形式实现特征交互，对边界框进行精细回归，对缺陷准确分类，网络采用 max-pooling+conv(5*5)的结构，网络末端通过全局max-pooling与 average-pooling得到输出向量，最后采用全连接网络实现对缺陷的分类与回归；

S8b确定目标定位和目标分类损失函数，完善网络输出。

更进一步的，所述S9中，统计风机叶片的故障面积和类型的步骤为：

S9a进行网络训练，得到缺陷检测模型，该过程包括修改配置文件，设置批处理次数、迭代次数、学习率等参数，保存训练日志，绘制训练曲线；

S9b使用迁移学习方法，利用预训练模型加速训练，训练完成后从训练日志中解析出loss、IoU的变化情况，生成loss、IOU的曲线图，根据曲线图选取合适的权重作为最终的网络权重。

S9c使用测试集对训练好的模型进行精度评价，包括准确率、漏检率、误识率等，评价指标达不到设定要求时需进行模型优化，通过可视化特征图进行分析，针对性的改进网络结构。

本发明的有益效果为：

(1)基于可见光、红外双光谱成像的风机叶片缺陷自动识别的方法，弥补了仅使用可见光识别表面缺陷而内部缺陷及影响范围无法探测的缺点。

(2)通过温度数据处理获得伪彩色图像替代了传统的红外图像通过能量值获得红外伪彩色图像

(3)在数据增广上，为了融合可见光与红外光的特征，在常规数据的增广的基础上，采用了“风格互换”的方式实现数据增广。

(4)融合图像处理技术及双光源成像技术，有效地提高图像信息的利用率、明显突出图像特征信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种基于双光谱图像的风机叶片缺陷智能检测方法的原理步骤图；

图2是一种基于双光谱图像的风机叶片缺陷智能检测方法的算法系统图；

图3是本发明实施例可见光与红外光风格互换原理图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例公开如图1所示的一种基于双光谱图像的风机叶片缺陷智能检测方法，所述方法包括以下步骤：

S1标注风机叶片可见光图像叶片区域，并以此构建深度学习图像分割网络模型；

S2对待检测的风机叶片可见光图像进行分割，实现桨叶区域的分割；

S3处理红外温度数据，合成对比性高的温度数据伪彩色图像；

S4利用可见光图像与红外图像的对应关系对红外图像分割；

S5将分割后的可见光图像与红外图像均随机划分为测试集和训练集；

S6利用已标注的风机叶片缺陷图像训练集对可见光图像与红外图像分别通过CNN网络进行特征提取；

S7通过融合关系对红外图像和可见光图像进行特征融合；

S8构建深度学习缺陷识别网络模型；

S9将S7中特征融合后的图像输入S8的缺陷识别网络模型，提取缺陷区域，并进一步输入深度学习回归网络模型，统计风机叶片的故障面积和类型。

S1中所述的利用已标注的风机叶片可见光图像叶片区域构建深度学习图像分割网络模型的步骤如下：

S1a：对可见光图像数据库通过标注工具进行叶片区域精确标注，生成标注文件；

S1b：构建数据增广方法，实现对样本图像进行增广；

S1c：构建用于风机叶片分割的图像分割网络；

S1d：训练风机叶片分割模型。

S1a中所述对可见光图像样本库进行精确标注的步骤为：

数据标注人员通过图像标注工具对叶片区域进行精准标注；

对标注文件进行解析，提取叶片边缘信息转化为可供网络训练的单通道mask图。

S1b中所述对样本图像进行增广的步骤为：

为提高泛化能力将可见光原图进行亮度、旋转、噪声、裁剪等操作进行数据增广。

通过同样的变换关系对mask图进行亮度、旋转、噪声、裁剪等操作进行变换。

S1c中所述构建用于风机叶片分割的图像分割网络的方案为：

确定分割网络包含的卷积层与池化层的个数，这里选择 (conv+BN+LeakyRelu)的结构，卷积层为11层，池化层为3个，前 10个卷积层的卷积核大小为13*13，第11层采用1*1的结构优化学习网络加速收敛，得到分割图像的mask图。

S1d中训练风机叶片分割模型的步骤为：

将增广后的图像样本送入到网络中进行训练；

对得到的模型进行测试及评价，优化后得到最优模型。

S3中所述的对红外温度数据进行处理，合成对比性高的温度数据伪彩色图像的处理过程为：

S3a:对温度数据进行统计，得出最大温度值(T_max)和最低温度值(T_min)。

S3b:对温度进行分区，由三原色原理可知，可以把颜色分为四个区间，分别为：

蓝色到青色的温度范围为

青色到绿色的温度范围为

绿色到黄色的温度范围为

黄色到红色的温度范围为

其中：

S3c：对每一个像素的温度值进行处理，对处于不同区间内的温度进行不同的处理，公式如下：

式中r表示图像的红色波段的值，g表示绿色波段的值，b 表示蓝色波段的值。T′(V_current)公式如下，该公式中，V_min表示当前区间的最小值，V_max表示当前区间的最大值。

S3d:将步骤3c中计算得出的红绿蓝三个波段的值进行彩色图像合成，即可以生成可对比性高的温度数据伪彩色图像。

S4中所述的依据可见光图像与红外图像的对应关系实现红外图像的分割的步骤分为：

S4a：通过标准的红外图像与可见光图像解析红外图像与可见光图像的对应关系，可将光成像平面与红外成像平面图像的对应特征点的像素满足单应性关系：其中为红外图像上的一点，为可见光图像上的对应点。

S4b：将可见光数据库与红外图像数据库进行匹配，并对红外图像进行滤波增强。

S4c：通过对应的单应性关系对可见光分割mask图进行转换为红外图像分割mask图；

S4d：通过红外图像分割mask图对红外图像进行分割。

S5中所述的分别将分割后的可见光图像与红外图像随机划分为测试集和训练集的步骤为：

S5a：分别对可见光图像与红外图像按照4:1的比例随机行成训练集与测试集；

S5b：对训练集的图像利用labelimg标注工具进行缺陷标注；

S5C：对训练集进行增广。在本发明中，除了采用常规的样本增广方法外，引入了“风格迁移”的思想，将可见光图像与红外图像进行风格互换，从而达到增广样本，增加样本多样性的目的。

S5C中引入了“风格迁移”的思想，将可见光图像与红外图像进行风格互换的原理如图2所示。

步骤a：为充分利用现有数据集并有效联系可见光图像和红外图像，利用生成对抗来进行风格迁移，扩增数据集。

步骤b：确定生成网络与对抗网络的架构和对抗损失、重建损失、身份损失等损失函数和归一化方法。生成网络实现图像X域和Y域的转换，判别网络来判断输入图像的真假。

步骤c：利用编码-解码结构学习可见光图像和红外图像之间的映射关系，实现目标域和源领域的域间转换，进行可见光图像和红外图像之间的互换。

S6中所述的通过训练集对可见光图像与红外图像分别通过CNN网络进行特征提取的步骤分为：

S6a：构建一个卷积神经网络，利用卷积神经网络的局部连接性和权值共享性，使用不同的卷积核依次对图像进行处理获取不同尺度的特征图，利用浅层卷积捕获图像的局部和细节信息，高层卷积获取复杂和抽象的信息，建立多层的卷积拓扑结构作为主干网络得到不同尺度的特征表示。骨干网络使用残差结构减小梯度爆炸的风险，加强网络的学习能力。

S6b：针对风机叶片的目标大小设计尺度融合层，使用特征金字塔和多尺度融合有效提取可见光图像的缺陷特征。

S6c：通过k-means聚类算法生成适合风机叶片数据集的anchor box，提高模型的定位准确度。

S7中所述通过融合关系实现红外图像与可见光图像的特征融合的步骤为：

S7a：将可见光特征与红外特征组成一个特征向量，计算所有特征的相似度。

S7b：将相似度高的特征进行融合，形成一个特征图；相似度低的特征作为单独的特征图。

特征的融合采用加权和的策略。假设相似度高于阈值的一组特征图表示为ξ_i，其中i表示这一组特征的索引，假设相似特征的数量为 N。对每个特征图，计算：

其中r为窗口直径。

权重计算公式为：

特征融合公式为：

S7c：将S7b中输出的所有特征图组成特征图谱。

S8中所述的构建深度学习缺陷识别网络模型的步骤分为：

S8a：设计多尺度的网络结构，在每个尺度内通过卷积核的形式实现特征交互，对边界框进行精细回归，对缺陷准确分类。网络采用 max-pooling+conv(5*5)的结构，网络末端通过全局max-pooling与 average-pooling得到输出向量，最后采用全连接网络实现对缺陷的分类与回归。

S8b：确定目标定位和目标分类损失函数，完善网络输出。

S9中所述的将步骤五特征融合后的图像输入步骤七的缺陷识别网络，提取缺陷区域，并进一步输入深度学习回归网络模型，统计风机叶片的故障面积和类型的步骤分为：

S9a：进行网络训练，得到缺陷检测模型。该过程包括修改配置文件，设置批处理次数、迭代次数、学习率等参数，保存训练日志，绘制训练曲线。使用迁移学习方法，利用预训练模型加速训练，训练完成后从训练日志中解析出loss、IoU的变化情况，生成loss、IOU的曲线图，根据曲线图选取合适的权重作为最终的网络权重。

S9b：使用测试集对训练好的模型进行精度评价，包括准确率、漏检率、误识率等，评价指标达不到设定要求时需进行模型优化，通过可视化特征图进行分析，针对性的改进网络结构，比如添加网络层数提高特征提取能力、改变卷积核大小、尺度融合层的融合方式等，修改完毕后重新训练。

实施例2

本实施例中，参照图2所示，针对行业现状，本实施例提供了一种自动对双光谱图像的风机叶片缺陷智能检测的技术。由于无人机采集的图像背景较复杂，传统的图像处理方法难以达到良好的效果，因此，本技术采用深度学习作为主要的技术路线。

本实施例基于双光谱图像的风机叶片缺陷智能检测方法，包括以下步骤：

A:利用已标注的风机叶片分割数据集构建深度学习叶片分割模型

B:对待分割的风机叶片图像进行分割，精准地分割出叶片区域

C:对分割后的图像进行缺陷标注，利用网络进行特征提取及特征融合

D:对特征融合后的图像输入缺陷检测网络，提取缺陷区域并回归分析缺陷类型及面积。

其中A中利用已标注的风机叶片分割数据集构建深度学习叶片分割模型的具体步骤为：

A1：对风机叶片图像库进行建立，应包含桨叶各个区域的、多种视角下拍摄的图像。

A2：对风机叶片图像中的叶片区域进行精确标注。可采用via工具进行标准，标准时风机叶片的边缘一定要精细。

A3：构建用于风机叶片区域分割的网络；

A4：通过标注的图像训练分割模型。

实施例3

本实施例基于实施例2，对深度学习叶片分割模型的训练方法为：

第一步，利用科学地图像库建立方法对图像库进行组建，保证图像样本库的多样性、代表性与全面性。

第二步，专业的数据人员对图像进行标注，精准的标注出图像中的叶片区域。同时为提高泛化能力将可见光原图与mask图同时进行亮度、旋转、噪声、裁剪等操作进行数据增广。

第三步 搭建目标分割网络，择语义分割网络，实现像素级别的语义分割。分割网络包含11个卷积层与3个池化层，每个卷积层后面跟上一个BN层与LeakyRelu激活层(conv+BN+LeakyRelu)的结构，实现网络学的快速收敛。

对分割后的图像进行缺陷标注，利用网络进行特征提取及特征融合的步骤为：

第一步，对分割后的缺陷样本进行数据集划分，行成训练集和测试集；

第二步，专业的数据标注人员对图像进行标注，标注内容为：叶片中图像的缺陷区域及缺陷类型。

第三步，搭建特征提取网络，主要分为骨干网络和加强网络得到不同尺度的特征表示。骨干网络使用残差结构减小梯度爆炸的风险，加强网络的学习能力。

第四步，对红外特征及可见光特征进行融合。

实施例4

在实施例3的基础上，本实施例对特征融合后的图像输入缺陷检测网络，提取缺陷区域并回归分析缺陷类型及面积的步骤为：

第一步：构建缺陷提取网络，通过设计多尺度的网络结构，在每个尺度内通过卷积核的形式实现特征交互，对边界框进行精细回归，对缺陷准确分类。最后确定目标定位和目标分类损失函数，完善网络输出。

第二步：将实施例二中带标签的特征融合后的样本送入网络进行学习，通过合理的参数调节，依据生成loss、IOU选取最终的网络权重。

第三步：通过测试集对第二步中得到的网络模型进行评价，依据准确率、漏检率、误识率等评价指标对模型反复优化，得到最优网络。

第四步：将采集图像送入最优网络进行检测，输出检测结果：缺陷类型、缺陷面积。

综上本本发明可应用于基于图像的风机叶片巡检过程中，也可用于对大量的风机叶片进行处理，实现对以往的风机叶片图像进行挖掘。

本发明不仅可以应用于基于可见光图像和红外图像的缺陷智能检测，同样适用于基于可见光图像的缺陷智能检测过程。

具有以下优势：

(1)国内首套基于可见光、红外双光谱成像的风机叶片缺陷自动识别的方法，弥补了仅使用可见光识别表面缺陷而内部缺陷及影响范围无法探测的缺点。

(2)通过温度数据处理获得伪彩色图像替代了传统的红外图像通过能量值获得红外伪彩色图像

(3)在数据增广上，为了融合可见光与红外光的特征，在常规数据的增广的基础上，采用了“风格互换”的方式实现数据增广。

(4)融合国内先进的图像处理技术及双光源成像技术，有效地提高图像信息的利用率、明显突出图像特征信息。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述方法包括以下步骤：

S1标注风机叶片可见光图像叶片区域，并以此构建深度学习图像分割网络模型；

S2对待检测的风机叶片可见光图像进行分割，实现桨叶区域的分割；

S3处理红外温度数据，合成对比性高的温度数据伪彩色图像；

S4利用可见光图像与红外图像的对应关系对红外图像分割；

S5将分割后的可见光图像与红外图像均随机划分为测试集和训练集；

S6利用已标注的风机叶片缺陷图像训练集对可见光图像与红外图像分别通过CNN网络进行特征提取；

S7通过融合关系对红外图像和可见光图像进行特征融合；

S8构建深度学习缺陷识别网络模型；

S9将S7中特征融合后的图像输入S8的缺陷识别网络模型，提取缺陷区域，并进一步输入深度学习回归网络模型，统计风机叶片的故障面积和类型。

2.根据权利要求1所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S1中，利用已标注的风机叶片可见光图像叶片区域构建深度学习图像分割网络模型的步骤如下：

S1a对可见光图像数据库通过标注工具对标注文件进行解析，提取叶片边缘信息转化为可供网络训练的单通道mask图，生成标注文件；

S1b构建数据增广方法，其将可见光原图进行亮度、旋转、噪声、裁剪等操作进行数据增广，通过同样的变换关系对mask图进行亮度、旋转、噪声、裁剪等操作进行变换实现对样本图像进行增广；

S1c确定分割网络包含的卷积层与池化层的个数，得到分割图像的mask图，构建用于风机叶片分割的图像分割网络；

S1d将增广后的图像样本送入到训练风机叶片分割模型中进行训练；对得到的模型进行测试及评价，优化后得到最优模型。

3.根据权利要求1所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S3中，对红外温度数据进行处理，合成对比性高的温度数据伪彩色图像的处理步骤为：

S3a对温度数据进行统计，得出最大温度值和最低温度值；

S3b对温度进行分区，根据三原色原理，把颜色分为四个区间，分别为：

蓝色到青色的温度范围为

青色到绿色的温度范围为

绿色到黄色的温度范围为

黄色到红色的温度范围为

其中：

S3c对每一个像素的温度值进行处理，对处于不同区间内的温度进行不同的处理，公式如下：

式中r表示图像的红色波段的值，g表示绿色波段的值，b表示蓝色波段的值；

T′(V_current)公式如下，该公式中，V_min表示当前区间的最小值，V_max表示当前区间的最大值；

S3d将S3c中计算得出的红绿蓝三个波段的值进行彩色图像合成，

生成可对比性高的温度数据伪彩色图像；

4.根据权利要求1所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S4中，依据可见光图像与红外图像的对应关系实现红外图像的分割的步骤分为：

S4a通过标准的红外图像与可见光图像解析红外图像与可见光图像的对应关系，可将光成像平面与红外成像平面图像的对应特征点的像素满足单应性关系：p₁＝Hp₂其中p₁为红外图像上的一点，p₂为可见光图像上的对应点；

S4b将可见光数据库与红外图像数据库进行匹配，并对红外图像进行滤波增强；

S4c通过对应的单应性关系对可见光分割mask图进行转换为红外图像分割mask图；

S4d通过红外图像分割mask图对红外图像进行分割。

5.根据权利要求1所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S5中，分别将分割后的可见光图像与红外图像随机划分为测试集和训练集的步骤为：

S5a分别对可见光图像与红外图像按照4:1的比例随机行成训练集与测试集；

S5b对训练集的图像利用labelimg标注工具进行缺陷标注；

S5c对训练集进行增广。

6.根据权利要求5所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S5c中，将可见光图像与红外图像进行风格互换步骤如下：

S5ca利用生成对抗来进行风格迁移，扩增数据集；

S5cb确定生成网络与对抗网络的架构和对抗损失、重建损失、身份损失等损失函数和归一化方法，生成网络实现图像X域和Y域的转换，判别网络来判断输入图像的真假。

S5cc利用编码-解码结构学习可见光图像和红外图像之间的映射关系，实现目标域和源领域的域间转换，进行可见光图像和红外图像之间的互换。

7.根据权利要求1所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S6中，通过训练集对可见光图像与红外图像分别通过CNN网络进行特征提取的步骤分为：

S6a：构建卷积神经网络，利用卷积神经网络的局部连接性和权值共享性，使用不同的卷积核依次对图像进行处理获取不同尺度的特征图，利用浅层卷积捕获图像的局部和细节信息，高层卷积获取复杂和抽象的信息，建立多层的卷积拓扑结构作为主干网络得到不同尺度的特征表示；

S6b：针对风机叶片的目标大小设计尺度融合层，使用特征金字塔和多尺度融合有效提取可见光图像的缺陷特征；

S6c：通过k-means聚类算法生成适合风机叶片数据集的anchor box，提高模型的定位准确度。

8.根据权利要求1所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S7中，通过融合关系实现红外图像与可见光图像的特征融合的步骤为：

S7a将可见光特征与红外特征组成一个特征向量，计算所有特征的相似度；

S7b将相似度高的特征进行融合，形成一个特征图；相似度低的特征作为单独的特征图；

特征的融合采用加权和的策略；假设相似度高于阈值的一组特征图表示为ξ_i，其中i表示这一组特征的索引，假设相似特征的数量为N；对每个特征图，计算：

其中r为窗口直径。

权重计算公式为：

特征融合公式为：

S7c将S7b中输出的所有特征图组成特征图谱。

9.根据权利要求1所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S8中，构建深度学习缺陷识别网络模型的步骤为：

S8a设计多尺度的网络结构，在每个尺度内通过卷积核的形式实现特征交互，对边界框进行精细回归，对缺陷准确分类，网络采用max-pooling+conv(5*5)的结构，网络末端通过全局max-pooling与average-pooling得到输出向量，最后采用全连接网络实现对缺陷的分类与回归；

S8b确定目标定位和目标分类损失函数，完善网络输出。

10.根据权利要求1所述的基于双光谱图像的风机叶片缺陷智能检测方法，其特征在于，所述S9中，统计风机叶片的故障面积和类型的步骤为：

S9a进行网络训练，得到缺陷检测模型，该过程包括修改配置文件，设置批处理次数、迭代次数、学习率等参数，保存训练日志，绘制训练曲线；

S9b使用迁移学习方法，利用预训练模型加速训练，训练完成后从训练日志中解析出loss、IoU的变化情况，生成loss、IOU的曲线图，根据曲线图选取合适的权重作为最终的网络权重。

S9c使用测试集对训练好的模型进行精度评价，包括准确率、漏检率、误识率等，评价指标达不到设定要求时需进行模型优化，通过可视化特征图进行分析，针对性的改进网络结构。

Images