CN103982378B - 基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法 - Google Patents

Abstract

本发明公开了基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法，包括如下步骤：步骤一、划分风力发电机叶片，获得叶片基元；步骤二、对风力发电机叶片基元进行拍照，并对背景进行剔除；步骤三、对步骤二获得的叶片基元结果图像进行二次划分成图像基元，并对基元结果图像进行特征提取；步骤四、对故障诊断所用的支持向量机进行训练；步骤五、使用训练好的支持向量机对风力发电机叶片基元的表面故障种类进行诊断；步骤六、对所有的叶片基元均进行步骤二、三、五的操作，直至完成整片叶片的表面结冰故障诊断。该方法诊断精度高。

Description

基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法

技术领域

本发明涉及风力机故障诊断领域，具体是指基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法。

背景技术

叶片作为风力机故障率最高的部件之一，由于其体积庞大、传感器安装困难、监控设备昂贵等原因始终没有一种可以现场应用的故障诊断和故障监督手段。现行风力机叶片的故障诊断主要是通过对风力机传动链的故障信号监督间接诊断风力机叶片故障。对风力机叶片的故障诊断的研究已经引起科研人员的重视并进行了多种尝试性研究。包括对风力机叶片表面安装振动、应力、声发射等传感器的接触式诊断方法和对叶片进行热成像、X光扫描、数字图像相关性分析的非接触故障诊断方法。

对于接触式故障诊断方法，由于是通过对传感器所安装部位信号进行监控来达到对叶片整体进行监控的目的，所以故障定位准确率较低，而且由于所需传感器数量较多会带来成本过高和布置困难等缺点。非接触式故障诊断方法以准确的对故障进行定位但是由于其设备价格昂贵且体积庞大很难在现场安装同样没有进行应用。

发明内容

本发明的目的是提供一种基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法，该方法诊断精度高。

本发明的上述目的通过如下技术方案来实现的：基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法，该方法包括如下步骤：

步骤一、划分风力发电机叶片，获得叶片基元；

步骤一的具体过程如下：首先，采用在风力发电机叶片表面涂上色带的方法对整个叶片进行区域划分，划分成N个子区域，其中N≥1，任意一个子区域均称为叶片基元；

步骤二、对风力发电机叶片基元进行拍照，并对背景进行剔除；

步骤二的具体过程如下：首先对风力发电机叶片基元进行拍摄， 获得叶片基元的原始图像；然后，将原始图像经过灰度处理，由彩色图变为灰度图，得到叶片基元的灰度图像；再通过采用Roberts轮廓提取方法对灰度图像进行叶片基元轮廓提取，得到叶片基元的二值图像，该二值图像中叶片基元为白色前景，其余部分为黑色背景；进一步，对二值图像进行形态学处理，达到初步去噪的效果，获得初步去噪图像；进而，在初步去噪图像中，采用二值图像连通区域标记法，对初步去噪图像执行两次扫描，第一次扫描通过逐行扫描像素，判断像素之间的相邻关系，对属于同一连通区域的像素赋予相同的连通标号；第二次扫描消除重复的标记，合并属于同一连通区域但是具有不同标记号的子区域，通过两步扫描找到区域面积最大的白色8连通区域，该最大的白色8连通区域就是所要获得的风力发电机叶片基元图像区域；最后，从原始图像中抠除去风力发电机叶片基元图像区域之外的区域，达到剔除背景的目的，同时能够得到风力发电机的叶片基元结果图像；

步骤三、对步骤二获得的叶片基元结果图像进行二次划分成图像基元，并对基元结果图像进行特征提取；

步骤三的具体过程如下：首先，将步骤二获得的叶片基元结果图像分割成多个平行四边形网格，进而根据网格把风力机叶片基元结果图像拆分成图像基元；然后采用数据特征提取算法对图像基元进行处理，得到图像基元的数据特征。

步骤四、对故障诊断所用的支持向量机进行训练；

步骤四的具体过程如下：把步骤三中获得的图像基元数据特征作为训练数据；然后，采用训练数据对支持向量机进行训练，获得训练好的支持向量机；该步骤四中支持向量机的训练采用标准支持向量机算法，具体训练步骤如下：

(1)设训练集T＝{(x₁,y₁),(x₂,y₂),…(x_l,y_l)}∈(X,Y)^l

其中x_i∈X∈R^P，y_i∈Y＝{-1,1}，i＝1,…l；

x_i为图像基元的数据特征构成的向量；如果x_i对应的图像基元上存在叶片结冰，则y_i为1，否则y_i为-1。

(2)求解最优化问题(1.1)，得最优解：

$\begin{array}{c}\underset{\mathrm{\α}}{\min }\frac{1}{2}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{y}_j{\mathrm{\α}}_i{\mathrm{\α}}_j(x_i\·x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i\\ s.t.\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_j{\mathrm{\α}}_i=0,\\ {\mathrm{\α}}_i\≥0,i=1,...,l.\end{array}---\left(1.1\right)$

其中α_i为引入的中间变量，为与每个训练数据对应的乘子。

(3)选择α^*的正分量，计算

$b^{*}=y_j-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_i^{*}(x_i\·x_j)$

其中b^*为引入的中间变量，是分类阈值。

(4)构造线性最优分类超平面，得出决策函数：

$\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{a}_i^{*}{y}_i(x\·x_i)+b^{*});$

步骤五、使用训练好的支持向量机对风力发电机叶片基元的表面故障种类进行诊断；

步骤五的具体过程如下：把风力发电机叶片基元经步骤三获得的图像基元数据特征作依次为变量x代入步骤四获得的决策函数，由决策函数的值来判断该发电机叶片基元是否存在表面结冰故障，若决策函数的值为1则表示存在叶片结冰，若决策函数的值为-1则表示不存在叶片结冰；

步骤六、对所有的叶片基元均进行步骤二、三、五的操作，直至完成整片叶片的表面结冰故障诊断。

上述公式均引用：张学工.关于统计学习理论与支持向量机[J].自动化学报.2000(01)中的公式，为现有技术。

本发明中，所述步骤三中，对图像基元进行数据特征处理是采用基于双树复小波分析的图片特征提取法。

本发明中，所述步骤三中，对图像基元进行数据特征处理是采用基于流形学习的图片数据降维法。

本发明中，所述步骤三中，对图像基元进行数据特征处理是采用基于改进流形学习算法的图片数据降维法。

综上所述，本专利提供了一种基于计算机视觉的风力发电机叶片表面故障诊断方法；首先，划分风力发电机叶片，获得叶片基元。然后，对风力机叶片基元拍照，并对背景进行剔除。进而，对叶片基元结果图像进行二次划分成图像基元，并对分块记录图像基元位置。进一步的，对图像基元进行特征提取。进一步的，取一部分图像基元的特征数据作为训练数据对支持向量机进行训练。最后，使用训练好的 支持向量机来对整个风力机叶片是否存在表面结冰故障进行判断，并监督其故障的发展。

与现有技术相比，本专利利用图像提取装置对风力机叶片故障进行监督和诊断。针对叶片故障监督过程中的叶片背景复杂、叶片故障定位困难、叶片故障种类分类困难提出了解决方案。通过对叶片背景剔除流程、叶片故障定位流程和叶片分类流程进行了设计。本专利可以有效地剔除叶片复杂的背景，去除复杂背景对叶片图像识别所产生的影响。采用色带和定位点对风力机叶片故障进行定位可以有效地监督故障的生长。

附图说明

下面结合附图和具体实施方式对本发明做进一步的详细说明。

图1是本发明诊断方法的整体流程示意图；

图2是本发明诊断方法中叶片图像背景剔除流程；

图3是本发明诊断方法中图像基元提取流程。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

本发明提供了一种基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法，该方法包括如下步骤：

步骤一、划分风力发电机叶片，获得叶片基元；

在本发明实施例中，运用在风力机叶片表面涂上色带的方法对叶片区域进行划分，以便于对监控区域的提取。这是由于大型风力机单片叶片长度近百米，故单次取像不可能完成对整个叶片的图像采集。通过色带划分，把叶片整体进行区域划分成20个子区域，任意一个子区域均称为叶片基元，然后调节摄像角度使得叶片照相区域的绝大部分为某一区域，通过变换摄像角度便可达到对整个叶片扫描的效果。也可以根据实际需要将叶片整体进行区域划分成N个子区域，其中N≥1。

步骤二、对风力发电机叶片基元进行拍照，并对背景进行剔除；

在本发明实施例中，首先选取适当的拍摄角度和光照强度对风力机叶片进行拍摄。其中，适当的拍摄角度和光照强度由实验获得。拍摄角度与法线夹角在0～75°，光照强度在90～1300LUX时所获得的图像能够基本保留图像的信息，不会产生由于光照变化所产生的故障 区域退化或生长，可以确保故障图像易于识别和提取。

进一步的，将原始图像转换成灰度图，再通过采用Roberts轮廓提取方法和形态学处理方法得到图像的二值图。Roberts轮廓提取方法通过图像像素灰度的梯度来求取图像边缘变化，进而检测到叶片的轮廓。形态学处理方法包括膨胀、结冰结冰以及其联合使用的开运算和闭运算，能有效的抑制图像的噪声，同时保证风力机图像的轮廓保持不变。

进而对二值图像进行形态学处理后得到图像的二值去噪图像，找到图像中区域最大的部分即为叶片所在部分，然后取出其他部分即得到叶片的二值图像，最后找到原始图像中对应叶片二值图像中为白色的部分即可提取出整个叶片基元的图像，达到剔除背景的目的，得到叶片基元结果图像。

首先，原始图片经过灰度处理，由彩色图变为灰度图；然后，运用Roberts算子对风力机基元图像进行轮廓提取，得到风力机图片的二值图，风力机叶片为白色前景，其余部分为黑色背景；进一步的，对二值图进行形态学处理，可以达到初步去噪的效果；进而，在初步去噪的图像中，找到区域面积最大的白色8连通区域，就是所得的风力机叶片基元区域；最后，从原图中抠除去风力机叶片基元之外的区域，就可以得到完整的风力机叶片基元结果图像。找到区域面积最大的白色8连通区域也为现有技术。

其中，找到区域面积最大的白色8连通区域采用二值图像连通区域标记法，两步法，即对初步去噪图像执行两次扫描：第一次扫描通过逐行扫描像素，判断像素之间的相邻关系，对属于同一连通区域的像素赋予相同的连通标号。第二次扫描消除重复的标记，合并属于同一连通区域但是具有不同标记号的子区域。

步骤三、对叶片基元结果图像进行二次划分成图像基元，并对图像基元进行特征提取；

首先，对叶片基元结果图像进行二次划分成图像基元；由于大型叶片表面会产生弧度，在本发明实施例中，在叶片基元结果图像中再人为的做出标记点，通过标记点和区域的四个角点可以将区域二次划分，这些网格内部可以近似认为在同一平面上。利用标记点对叶片区域进行分割，将叶片区域分割成多个平行四边形网格，进而根据网格把风力机叶片图像划分成图像基元，以达到细化监控区域的目的，并可对故障部位进行定位。

首先，将涂上色带的风力机叶片，经过步骤一的处理后，得到叶片基元结果图像；然后，利用标记点对叶片基元结果图像进行分割，将叶片叶片基元分割成多个网格；最后，根据网格把风力机叶片基元结果图像拆分成子区域，便得到了风力机图像基元，同时记录分块后的位置，可以通过监控故障种类和故障达到监控整个叶片的故障类别和故障生长的目的。

进一步的，对风力机图像基元进行特征提取；在本发明实施例中，对图像基元库采用基于改进流形学习算法处理图像基元，得到数据特征提取结果。

具体而言，基于改进流形学习算法的图片数据降维有以下几个步骤：首先，通过模糊聚类将原始数据分为n类，进而得到各个类聚类中心和个体模糊隶属度。

然后，根据模糊聚类的结果选择最靠近每类中心的样本作为广义神经网络聚类的训练样本。使用训练数据训练广义神经网络。广义神经网络预测模块用训练好的网络预测所有输入样本数据的输出序列。

进一步的，按照网络预测输出序列Y把样本数据X分为n类，然后求出每类内所有样本平均值mean_i(i＝1,2，…，n)，求出所有样本X到中心支的距离ecent_i(i＝1,2，…，n)，从距离矩阵选择距离最小的M个样本作为一组，设定其对应的网络输入为i。这样再次得到了n×m组网络训练数据，其输入数据为原始数据，输出数据为类别特征数据。得到样本类别个数，样本中心和每类样本的个数。

最后，由得到的样本类别个数、样本中心、每类样本的个数及特征数据，LLE算法对数据进行降维处理，得到数据特征提取结果。

流形学习是指从高维欧氏空间采样的数据中恢复出低维流形结构，同时求出相应的嵌入映射，以实现数据的约简、降维或可视化。本发明实施例中选取流行学习方法中的LLE方法作为数据处理方法。

LLE方法可以归结为三步:(1)在高维数据样本中寻找每个点的k个近邻点；(2)由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；(3)由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值。

具体到本发明实施例中，使用LLE对数据库内的样本类别个数、样本中心、每类样本的个数及特征数据进行二维和三维降维后得到的数据，作为数据降维得到的结果。

步骤四、对故障诊断所用的支持向量机进行训练；

首先，把步骤三中获得的图像基元数据特征中的一部分作为训练数据；然后，采用训练数据对支持向量机。

支持向量机是基于有限样本下研究及其学习规律的统计学理论。其目的是寻找一个高维超平面对样本数据进行分类，并希望能够使两类样本间隔最大的超平面为平面构建原则。

在本发明实施例中，采用标准支持向量机算法，其训练步骤如下：

(1)设训练集T＝{(x₁,y₁),(x₂,y₂),…(x_l,y_l)}∈(X,Y)^l

其中x_i∈X∈R^P，y_i∈Y＝{-1,1}，i＝1,…l；

x_i为图像基元的数据特征构成的向量；如果x_i对应的图像基元上存在叶片结冰，则y_i为1，否则y_i为-1。

(2)求解最优化问题(1.1)，得最优解：

$\begin{array}{c}\underset{\mathrm{\α}}{\min }\frac{1}{2}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{y}_j{\mathrm{\α}}_i{\mathrm{\α}}_j(x_i\·x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i\\ s.t.\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_j{\mathrm{\α}}_i=0,\\ {\mathrm{\α}}_i\≥0,i=1,...,l.\end{array}---\left(1.1\right)$

其中α_i为引入的中间变量，为与每个训练数据对应的乘子。

(3)选择α^*的正分量，计算

$b^{*}=y_j-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_i^{*}(x_i\·x_j)$

其中b^*为引入的中间变量，是分类阈值。

(4)构造线性最优分类超平面，得出决策函数：

$\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{a}_i^{*}{y}_i(x\·x_i)+b^{*});$

步骤五、使用步骤四中训练好的支持向量机对风力发电机叶片基元的表面是否存在结冰故障进行诊断。

具体诊断方法如下：

把风力发电机叶片基元经步骤三获得的图像基元数据特征作依次为x代入支持向量机中决策函数，由决策函数的值判断该发电机叶片基元是否存在表面结冰故障。决策函数的值为1或-1，其中1为存在叶片结冰，-1为不存在。进而由哪个图像基元的对应的决策函数的值为1，可以进一步判断表面结冰的位置。

对于判别的故障可划分故障等级，并将故障判断结果存储如数据库的故障数据表内。由风力机故障处置模块对数据库进行监测，如果故障数据表产生更新会根据不同的故障等级对硬件进行操作，包括报警、连锁停机等，并对做出的操作进行历史记录。

步骤六、对所有的叶片基元均进行步骤二、三、五的操作，直至完成整片叶片的表面故障诊断。

首先，划分风力发电机叶片，获得叶片基元；然后，对风力机叶片拍照，并对背景进行剔除。进而，对叶片基元结果图像进行二次划分成图像基元，并对分块记录图像基元位置。进一步的，对图像基元进行特征提取。对图像基元数据库采用改进流行学习处理特征提取算法处理图像，并取一部分图像基元的特征数据作为训练数据对支持向量机进行训练。最后，使用训练好的支持向量机来对风力机叶片是否存在表面结冰故障进行判断，并监督其故障的发展。

综上所述，本专利提供了一种基于计算机视觉的风力发电机叶片表面故障诊断方法：首先，划分风力发电机叶片，获得叶片基元。然后，对风力机叶片基元拍照，并对背景进行剔除。进而，对叶片基元结果图像进行二次划分成图像基元，并对分块记录图像基元位置。进一步的，对图像基元进行特征提取。进一步的，取一部分图像基元的特征数据作为训练数据对支持向量机进行训练。最后，使用训练好的支持向量机来对整个风力机叶片是否存在表面结冰故障进行判断，并监督其故障的发展。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制，以上实施例的说明只是用于帮助理解本发明的技术方案；对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上的改变之处，均应包含在本发明的保护范围之内。

Claims (2)

1.基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法，该方法包括如下步骤：

步骤一、划分风力发电机叶片，获得叶片基元；

步骤一的具体过程如下：首先，采用在风力发电机叶片表面涂上色带的方法对整个叶片进行区域划分，划分成N个子区域，其中N≥1，任意一个子区域均称为叶片基元；

步骤二、对风力发电机叶片基元进行拍照，并对背景进行剔除；

步骤二的具体过程如下：首先对风力发电机叶片基元进行拍摄，获得叶片基元的原始图像；然后，将原始图像经过灰度处理，由彩色图变为灰度图，得到叶片基元的灰度图像；再通过采用Roberts轮廓提取方法对灰度图像进行叶片基元轮廓提取，得到叶片基元的二值图像，该二值图像中叶片基元为白色前景，其余部分为黑色背景；进一步，对二值图像进行形态学处理，达到初步去噪的效果，获得初步去噪图像；进而，在初步去噪图像中，采用二值图像连通区域标记法，对初步去噪图像执行两次扫描，第一次扫描通过逐行扫描像素，判断像素之间的相邻关系，对属于同一连通区域的像素赋予相同的连通标号；第二次扫描消除重复的标记，合并属于同一连通区域但是具有不同标记号的子区域，通过两步扫描找到区域面积最大的白色8连通区域，该最大的白色8连通区域就是所要获得的风力发电机叶片基元图像区域；最后，从原始图像中抠除去风力发电机叶片基元图像区域之外的区域，达到剔除背景的目的，同时能够得到风力发电机的叶片基元结果图像；

步骤三、对步骤二获得的叶片基元结果图像进行二次划分成图像基元，并对基元结果图像进行特征提取；

步骤三的具体过程如下：首先，将步骤二获得的叶片基元结果图像分割成多个平行四边形网格，进而根据网格把风力机叶片基元结果图像拆分成图像基元；然后采用数据特征提取算法对图像基元进行处理，得到图像基元的数据特征；

步骤四、对故障诊断所用的支持向量机进行训练；

步骤四的具体过程如下：把步骤三中获得的图像基元数据特征作为训练数据；然后，采用训练数据对支持向量机进行训练，获得训练好的支持向量机；

该步骤四中支持向量机的训练采用标准支持向量机算法，具体训练步骤如下：

(1)设训练集T＝{(x₁,y₁),(x₂,y₂),…(x_l,y_l)}∈(X,Y)^l

其中x_i∈X∈R^P，y_i∈Y＝{-1,1}，i＝1,…l；

x_i为图像基元的数据特征构成的向量；如果x_i对应的图像基元上存在叶片结冰，则y_i为1，否则y_i为-1

(2)求解最优化问题(1.1)，得最优解：

$\begin{array}{cc}\underset{\mathrm{\α}}{\min }& \frac{1}{2}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{y}_j{\mathrm{\α}}_i{\mathrm{\α}}_j(x_i\·x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i\\ s.t.& \underset{i=1}{\overset{l}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_i=0,\\ & {\mathrm{\α}}_i\≥0,i=1,...,l.\end{array}---\left(1.1\right)$

其中α_i为引入的中间变量，为与每个训练数据对应的乘子；

(3)选择α^*的正分量，计算

$b^{*}=y_j-\underset{i=1}{\overset{l}{\Σ}}{y}_i{\mathrm{\α}}_i^{*}(x_i\·x_j)$

其中b^*为引入的中间变量，是分类阈值；

(4)构造线性最优分类超平面，得出决策函数：

$f\left(x\right)=\mathrm{sgn}(\underset{i=1}{\overset{l}{\Σ}}{a}_i^{*}{y}_i\left(x\·x_i\right)+b^{*});$

步骤五、使用训练好的支持向量机对风力发电机叶片基元的表面故障种类进行诊断；

步骤五的具体过程如下：把风力发电机叶片基元经步骤三获得的图像基元数据特征作依次为变量x代入步骤四获得的决策函数，由决策函数的值来判断该发电机叶片基元是否存在表面结冰故障，若决策函数的值为1则表示存在叶片结冰，若决策函数的值为-1则表示不存在叶片结冰；

步骤六、对所有的叶片基元均进行步骤二、三、五的操作，直至完成整片叶片的表面结冰故障诊断。

2.根据权利要求1所述的基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法，其特征在于：所述步骤三中，对图像基元进行数据特征处理是采用基于改进流形学习算法的图片数据降维法，具体步骤为：

首先，通过模糊聚类将原始数据分为n类，进而得到各个类的聚类中心和个体模糊隶属度；

然后，根据模糊聚类的结果选择最靠近每类中心的样本作为广义神经网络聚类的训练样本，使用训练数据训练广义神经网络，广义神经网络预测模块用训练好的网络预测所有输入样本数据的输出序列；

再后，按照网络预测输出序列Y把样本数据X分为n类，然后求出每类内所有样本平均值mean_i(i＝1,2，…，n)，求出所有样本X到中心支的距离ecent_i(i＝1,2，…，n)，从距离矩阵选择距离最小的M个样本作为一组，设定其对应的网络输入为i，这样再次得到了n×m组网络训练数据，其输入数据为原始数据，输出数据为类别特征数据，得到样本类别个数、样本中心和每类样本的个数；

最后，由得到的样本类别个数、样本中心、每类样本的个数及类别特征数据，通过LLE算法对数据进行降维处理，得到数据特征提取结果。