CN112802011A - 一种基于vgg-bls的风机叶片缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于VGG‑BLS的风机叶片缺陷检测方法，该方法包括以下步骤：步骤1：拍摄风机叶片缺陷图像，并筛选出作为数据集的图像后进行数据预处理；步骤2：将处理完毕的完整数据集输入至VGG‑BLS网络模型中，利用其中的VGG‑16提取特征，基于提取的特征再利用其中的BLS模型求得网络权重；步骤3：将求得的网络权重输入VGG‑16网络模型中进行网络模型训练，同时输入风机叶片缺陷数据集得到最终检测分类结果；步骤4：通过增量学习的方法在线更新权重，并通过评价指标判断步骤3中训练完毕的网络模型性能。与现有技术相比，本发明具有：1.成本更低，只需获取缺陷图像，通过计算机仿真即可检测缺陷类别；2.准确率有一定的提升；3.检测效率有大幅度的提升等优点。

Description

一种基于VGG-BLS的风机叶片缺陷检测方法

技术领域

本发明涉及一种风力发电机叶片缺陷检测方法，尤其是涉及一种基于VGG-BLS的风机叶片缺陷检测方法。

背景技术

目前，风机叶片的检测已经有大量研究，比较传统的叶片缺陷检测的主要方法有目视检测技术，X射线检测技术、超声波热成像检测技术等。也有大量研究者通过处理各种安装在风机表面的传感器所发出的信号来完成故障检测任务，常见的有动传感器、声发射传感器(AESs)、多维传感器监测网络等。

近年来，机器学习的发展也推动了信号处理的发展，并逐渐衍生出了logit-boost、决策树(DT)、支持向量机(SVM)等信号处理方法。通过处理叶片的缺陷信号来判断缺陷类别。

由于风机叶片的大部分故障是肉眼可见的，因此风机叶片的缺陷检测可以看作是计算机视觉领域的一个图像分类问题。随着深度学习的发展，研究者们将风机叶片缺陷图像输入到卷积网络中，由计算机来完成叶片缺陷的识别工作，但这方面的工作相对较少。

在现有这些技术中，传统的叶片缺陷检测方法存在着传感器安装困难，技术成本高，并且极容易受到环境影响等问题。通过信号处理的方法诊断出的叶片缺陷类型有限，并且这种检测方法也比较繁琐。通过深度卷积网络检测叶片缺陷时，常会因为网络中参数和权重太多，导致反向传播过程中计算量太复杂，影响检测的效率，并且检测精度有待提高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于VGG-BLS的风机叶片缺陷检测方法，旨在提高风机叶片缺陷检测的效率和精度。

本发明的目的可以通过以下技术方案来实现：

一种基于VGG-BLS的风机叶片缺陷检测方法，该方法包括以下步骤：

步骤1：拍摄风机叶片缺陷图像，并筛选出作为数据集的图像后进行数据预处理；

步骤2：将处理完毕的完整数据集输入至VGG-BLS网络模型中，利用其中的VGG-16提取特征，基于提取的特征再利用其中的BLS模型求得网络权重；

步骤3：将求得的网络权重输入VGG-16网络模型中进行网络模型训练，同时输入风机叶片缺陷数据集得到最终检测分类结果；

步骤4：通过增量学习的方法在线更新权重，并通过评价指标判断步骤3中训练完毕的网络模型性能。

进一步地，所述的步骤1包括以下分步骤：

步骤101：通过无人机设备拍摄风机叶片缺陷图像，筛选出符合要求的图像作为数据集，并进一步划分为多种分类的数据集；

步骤102：将所有数据集进一步划分为训练集、测试集和验证集，通过数据增强将数据集扩充；

步骤103：采用霍夫变换对扩充后的数据集图片进行矫正，转换风机叶片位置状态，并裁剪尺寸后，得到处理完毕的完整数据集。

进一步地，所述的步骤2中的VGG-BLS网络模型，其网络输出与网络的关系所对应的数学描述公式为：

Y＝[Z₁,Z₂,…,Z_n|ξ(ZⁿW_h1+β_h1),ξ(ZⁿW_h2+β_h2),…,ξ(ZⁿW_hm+β_hm)]W^m

Y＝[Z₁,Z₂,…,Z_n|H₁,H₂,…H_m]W^m

Y＝[Zⁿ|H^m]W^m

Y＝AW^m

式中，W^m为网络权重，将特征节点和增强节点记作矩阵A，Y表示期望输出，Zⁿ为特征节点，H^m为增强节点，W_hm为连接权重，β_hm为偏置。

进一步地，所述的步骤2中的网络权重，其对应的描述公式为：

W^m＝[Zⁿ|H^m]⁺Y

式中，W^m为网络权重，将特征节点和增强节点记作矩阵A，Y表示期望输出，Zⁿ为特征节点，H^m为增强节点，

为约束权重的系数。

进一步地，所述的步骤4中通过增量学习的方法在线更新权重，其对应的描述公式为：

C＝ξ(ZⁿW_hm+1+β_hm+1)-A^mD

式中，A^m和A^m+1分别为当前及后一个网络最后输出，W^m和W^m+1分别为当前及后一个网络权重，Zⁿ为特征节点，W_hm+1为更新后的连接权重，β_hm+1为更新后的偏置。

进一步地，所述的步骤4中的评价指标包括预测准确率和F1分数。

进一步地，所述的步骤101中多种分类的数据集包括油污、胶衣脱落、导航漆脱落、表面腐蚀和正常情况五类数据集。

进一步地，所述的步骤103中的位置状态为水平或垂直，裁剪尺寸为224×224。

进一步地，所述的步骤4中的评价指标还包括混淆矩阵。

进一步地，所述的步骤4中的评价指标还包括时间。

与现有技术相比，本发明具有以下优点：

(1)本发明是基于VGG-16和BLS的组合模型来对风机叶片的缺陷进行检测的，组合预测模型相较于单一预测方法能够优势互补，深度卷积网络具有较强的特征提取能力，BLS算法权重更新快，精度高，并且能够实现在线更新权重。相比较传统检测技术，本发明检测方法成本更低，只需获取缺陷图像，通过计算机仿真即可检测缺陷类别，准确率有一定的提升，检测效率有大幅度的提升。

(2)现有深度学习图像识别任务中，把主要任务放在了改进模型结构上，由于深度学习层次太深带来的参数众多，计算量巨大，并且对设备有一定的要求，本发明把重点放在权重的获取上，在VGG-16卷积网络的基础上结合BLS的权重获取方法(伪逆)，进一步的提升检测效率和缓解计算量压力。

(3)采用霍夫变化对叶片数据进行矫正，并组合VGG-16和BLS模型，前者用于特征提取，后者用于权重获取与更新，本发明可以应用于风机叶片缺陷检测的任务中，相比于传统的检测技术，成本更低廉，准确率以及时效性都有了很明显的提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中数据预处理的操作过程示意图，其中，图1(a)为原图，图1(b)为垂直状态下的处理效果图，图1(c)为水平状态下的处理效果图，图1(d)为色彩抖动的处理效果图，图1(e)为明亮的处理效果图，图1(f)为灰度化的处理效果图；

图2为本发明实施例中VGG-BLS的模型示意图；

图3为本发明实施例中宽度学习模型示意图；

图4为本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明方法是一种基于卷积网络VGG-16和的宽度学习(BLS)的混合模型的预测方法。首先，通过无人机设备拍摄风机叶片缺陷图像，采用数据增强和霍夫变换对图片进行处理。接着，将处理好的完整数据集输入到VGG-16网络中训练，提取特征，在网络的最后一层接入BLS，通过伪逆的方法替代反向传播计算权重。最后通过计算得到的权重来进行预测。

具体方法流程如图4所示，流程图大致分为三个阶段：

第一阶段---数据预处理阶段

此阶段通过对原始叶片缺陷数据集进行数据增强与扩充，采用霍夫变换对叶片数据进行矫正，使其处于水平或垂直状态。

第二阶段---权重获取阶段

此阶段通过VGG-16卷积网络对输入数据进行特征提取工作，接着由BLS通过伪逆的方法求得网络权重。

第三阶段---预测阶段

将计算得到的权重输入到VGG-16模型中得到训练好的网络，最后将验证集中的叶片缺陷数据输入到网络中，得到预测准确率，F1分数，混淆矩阵，时间等评价指标验证其性能。

具体实施例

I、数据预处理

首先，通过无人机设备拍摄风机叶片缺陷图像，筛选出符合的图像作为数据集。数据集被分为油污，胶衣脱落，导航漆脱落，表面腐蚀，正常情况五类，并将数据集分为训练集，测试集和验证集。通过数据增强将数据集扩充，使得每类缺陷数据分布均匀，进而降低模型对某些属性的依赖，提高模型的泛化能力。采用霍夫变换对图片进行矫正，使风机叶片的位置状态转换为水平或垂直，并将其尺寸裁剪成224×224。一系列数据预处理效果如附图1(a)～图1(f)所示。

II、VGG-BLS模型检测方法

将处理好的完整数据集输入到VGG-16深度卷积网络中训练，并进行特征的提取。在传统的VGG-16中，最后一层接入Softmax层求出概率来判断类别，最后通过反向传播求导求得权重，由于VGG-16参数众多，导致计算量巨大，非常耗时。因此，本实施例将用BLS取代softmax层。VGG-BLS模型由图2所示。此时，VGG-16用来进行特征提取，将充分提取好的特征输入到BLS模型中，通过伪逆的方法求得权重。

VGG-16模型主要是通过不断的堆叠卷积层和池化层来完成特征提取的，随着网络层次的加深，特征提取也越充分。将提取好的特征输入到宽度学习中，宽度学习的结构如附图3所示。

由图中显示，X作为BLS的输入，也是VGG-16提取好的输出特征。通过线性变换得到特征节点[Z₁,Z₂,…,Z_n]，其中Wei和βei是随机生成的，前者表示连接权重，后者表示偏置，φ_i为激活函数。将得到的特征节点再次通过线性变换得到增强节点[H₁,H₂,H₃…H_m]，同理，映射过程由权重，偏置，激活函数构成。最后得到网络输出与网络的关系如下：

Y＝[Z₁,Z₂,…,Z_n|ξ(ZⁿW_h1+β_h1),ξ(ZⁿW_h2+β_h2),…,ξ(ZⁿW_hm+β_hm)]W^m

Y＝[Z₁,Z2,…,Z_n|H₁,H₂,…H_m]W^m

Y＝[Zⁿ|H^m]W^m

Y＝AW^m

式中，W^m为网络权重，将特征节点和增强节点记作矩阵A，Y表示期望输出，Zⁿ为特征节点，H^m为增强节点，W_hm为连接权重，β_hm为偏置。

将特征节点和增强节点记作矩阵A，输出层权重可以采用伪逆的方法求取，根据公式：

W^m＝[Zⁿ|H^m]⁺Y

式中，W^m为网络权重，将特征节点和增强节点记作矩阵A，Y表示期望输出，Zⁿ为特征节点，H^m为增强节点，

为约束权重的系数。

传统的权重求取方式采用梯度反向传播方法求得，相比较，本发明采用的通过伪逆求得权重的方法大大缩减了时间，以及计算量和对设备的要求，提高检测效率。

除此之外，宽度学习还衍生出三种动态逐步更新算法(增量学习)，该算法在BLS的基础上，通过动态增加特征节点，增强节点和输入数据来提高网络的精度。增量学习最重要的特点是它能够在原因网络的基础上，动态的对权重进行更新，不像大多数网络，需要从头开始训练得到权重。再提高精度的同时，也大大提升了网络的效率。本发明采用动态增加增强节点的方式，具体过程如下：

C＝ξ(ZⁿW_hm+1+β_hm+1)-A^mD

式中，A^m和A^m+1分别为当前及后一个网络最后输出，W^m和W^m+1分别为当前及后一个网络权重，Zⁿ为特征节点，W_hm+1为更新后的连接权重，β_hm+1为更新后的偏置。

在上面的公式中，假设网络初始结构由n组映射节点和m组增强节点，网络最后的输出记为A^m，当增加k个增强节点时，得到新的增强节点为H_m+1＝[ξ_m+1(ZⁿW_hm+1+β_hm+1)]，得到最后的输出层记为A^m+1＝[A^m|H_m+1]，最后的权重更新，通过伪逆的方式求得。

III、预测模型

本模型是通过搭建Pytorch仿真平台实现的，通过上述模型获取权重后，将求得的权重输入VGG-16网络模型中，同时输入风机叶片缺陷数据集得到最终的分类效果。与此同时，为了挖掘更高的准确率，通过增量学习的方法来在线更新权重。最后通过几个评价指标：F1-Score，混淆矩阵，时间，预测准确率来判断模型的性能。在训练好的网络中输入风机叶片缺陷图像时，能准确的预测出缺陷类别和为该缺陷的概率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，该方法包括以下步骤：

步骤1：拍摄风机叶片缺陷图像，并筛选出作为数据集的图像后进行数据预处理；

步骤2：将处理完毕的完整数据集输入至VGG-BLS网络模型中，利用其中的VGG-16提取特征，基于提取的特征再利用其中的BLS模型求得网络权重；

步骤3：将求得的网络权重输入VGG-16网络模型中进行网络模型训练，同时输入风机叶片缺陷数据集得到最终检测分类结果；

步骤4：通过增量学习的方法在线更新权重，并通过评价指标判断步骤3中训练完毕的网络模型性能。

2.根据权利要求1所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤1包括以下分步骤：

步骤101：通过无人机设备拍摄风机叶片缺陷图像，筛选出符合要求的图像作为数据集，并进一步划分为多种分类的数据集；

步骤102：将所有数据集进一步划分为训练集、测试集和验证集，通过数据增强将数据集扩充；

步骤103：采用霍夫变换对扩充后的数据集图片进行矫正，转换风机叶片位置状态，并裁剪尺寸后，得到处理完毕的完整数据集。

3.根据权利要求1所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤2中的VGG-BLS网络模型，其网络输出与网络的关系所对应的数学描述公式为：

Y＝[Z₁,Z₂,…,Z_n|ξ(ZⁿW_h1+β_h1),ξ(ZⁿW_h2+β_h2),…,ξ(ZⁿW_hm+β_hm)]W^m

Y＝[Z₁,Z₂,…,Z_n|H₁,H₂,…H_m]W^m

Y＝[Zⁿ|H^m]W^m

Y＝AW^m

式中，W^m为网络权重，将特征节点和增强节点记作矩阵A，Y表示期望输出，Zⁿ为特征节点，H^m为增强节点，W_hm为连接权重，β_hm为偏置。

4.根据权利要求1所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤2中的网络权重，其对应的描述公式为：

W^m＝[Zⁿ|H^m]⁺Y

式中，W^m为网络权重，将特征节点和增强节点记作矩阵A，Y表示期望输出，Zⁿ为特征节点，H^m为增强节点，

为约束权重的系数。

5.根据权利要求1所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤4中通过增量学习的方法在线更新权重，其对应的描述公式为：

C＝ξ(ZⁿW_hm+1+β_hm+1)-A^mD

式中，A^m和A^m+1分别为当前及后一个网络最后输出，W^m和W^m+1分别为当前及后一个网络权重，Zⁿ为特征节点，W_hm+1为更新后的连接权重，β_hm+1为更新后的偏置。

6.根据权利要求1所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤4中的评价指标包括预测准确率和F1分数。

7.根据权利要求2所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤101中多种分类的数据集包括油污、胶衣脱落、导航漆脱落、表面腐蚀和正常情况五类数据集。

8.根据权利要求2所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤103中的位置状态为水平或垂直，裁剪尺寸为224×224。

9.根据权利要求1所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤4中的评价指标还包括混淆矩阵。

10.根据权利要求1所述的一种基于VGG-BLS的风机叶片缺陷检测方法，其特征在于，所述的步骤4中的评价指标还包括时间。

Images