CN115013255A - 一种风机叶片在线视觉监测与故障诊断方法 - Google Patents

Abstract

本发明提供了一种风机叶片在线视觉监测与故障诊断方法，其整体提升风电行业的安全性和可靠性，并降低巡检劳动强度，显著提高经济效益和社会效益。其在固定位置设置拍摄系统，拍摄系统包括镜头和光源，镜头为大焦距镜头，将拍摄系统对准叶尖转动轨迹区域的一处位置，使得拍摄系统捕获叶尖位置的一设定形状的区域的抓拍图像，在需要拍摄的叶尖的对应位置区域进行区分标记，获取抓拍图像的位置，位置为所抓拍图像中叶尖的标记区域的中心点的坐标，之后进行位置偏差法处理，位置偏差即为依次抓拍的前后两张图像叶尖标记中心点间的位置偏差Ld，通过位置偏差Ld和偏差阈值Ld_T比较，从而判断叶片是否发生故障。

Description

一种风机叶片在线视觉监测与故障诊断方法

技术领域

本发明涉及风电叶片的技术领域，具体为一种风机叶片在线视觉监测与故障诊断方法。

背景技术

目前对风力机组的研究大多集中在轮箱内轴、轴承部件、发电机等方面，而对接收风能、受力较大的叶片的研究相对较少，特别是还没有一种有效的对风力机叶片直接监测的方法。风机叶片作为风电机组系统能量的关键输入部件，其功能状态的好坏对整机系统的性能、状态及安全生产都产生重大的影响。如果不能采取有效的方法对其运行状态进行实时的监测，及时发现叶片存在的故障并作出处理，不断积累一定会酿成事故，致使整个风机组完全损坏。

随着经济社会的发展和科技的不断进步，风力叶片长度也是不断增加，虽然较大的长度可以适应更大功率的发电机，但是在运行时叶片前部及叶尖部承受的作用力更是急剧增大。这就大大增加了叶片的故障风险。因此，我们需要对叶片的运行状态进行监测，以有效地降低叶片故障的发生、及时合理安排维修计划，避免因叶片故障导致风机组系统瘫痪，减少经济损失。

当前的一些有损或无损检测方法，受环境因素影响大，稳定性差，误报率高，成本高，实际应用难度大。为此，需要研发一款结构简单、低成本且效果好的风机叶片在线视觉监测与故障诊断方法。

发明内容

针对上述问题，本发明提供了一种风机叶片在线视觉监测与故障诊断方法，其基于计算机视觉对风机组叶片运行状态进行实时监测，及时预警，有助于运行人员及时发现故障叶片并进行处理，可有效避免由叶片故障处理不及时引发的风机组事故，保障风场区域的人民生命财产安全，整体提升风电行业的安全性和可靠性，并降低巡检劳动强度，显著提高经济效益和社会效益。

一种风机叶片在线视觉监测与故障诊断方法，其特征在于：在固定位置设置拍摄系统，拍摄系统包括镜头和光源，镜头为大焦距镜头，将拍摄系统对准叶尖转动轨迹区域的一处位置，使得拍摄系统捕获叶尖位置的一设定形状的区域的抓拍图像，在需要拍摄的叶尖的对应位置区域进行区分标记，获取抓拍图像的位置，位置为所抓拍图像中叶尖的标记区域的中心点的坐标，之后进行位置偏差法处理，位置偏差即为依次抓拍的前后两张图像叶尖标记中心点间的位置偏差Ld，通过位置偏差Ld和偏差阈值Ld_T比较，从而判断叶片是否发生故障。

其进一步特征在于：

其包括如下步骤，步骤一、传感器检测到风机叶片运行到抓拍位置时，将产生触发信号，并且把触发信号传送给PLC控制系统，经过分析处理PLC控制系统会向信息采集系统发出抓拍信号，此时，相机和光源同步动作，光源发出闪光，增强拍摄光强度，相机在此瞬间采集一帧图像；

步骤二、系统会自动对采集到的图像进行预处理，为后续图像处理判断做好准备，图像处理系统会自动匹配寻找标记，如果标记第一次定位失败，为了保证检测可靠性，会对图像进行二次检测和特征提取，如果再次提取失败，则证明叶片状态异常、叶片存在折断故障，此时报警系统响应，发出报警，并把故障叶片图像保存到数据库以备查阅；

步骤三、如果第一次特征提取或者第二次特征提取成功，系统会根据位置偏差法的检测公式来计算位置偏差Ld，并将位置偏差计算结果Ld和设定的位置偏差阈值Ld_T相比较，如果比较结果是计算结果Ld小于Ld_T，说明叶片状态正常，诊断系统进入等待状态，等待下一次的位置偏差计算结果并进行下一次判断；

如果比较结果是计算结果Ld大于Ld_T，说明叶片状态可能存在异常，为了避免叶片偶然因素对诊断结果的干扰，根据故障延时判断方法，必须对叶片状态进行一次新的判断，以此来保证诊断的准确性。之后重复步骤三：如果第二次判断叶片正常，则判断系统初始化(i＝0，j＝0)，诊断系统进入等待状态，如果第二次判断叶片异常，把判断系统初始化，一方面报警系统响应，另一方面故障类型预判系统会对故障类型进行预判，预判出叶片是轴向弯曲、圆周弯曲还是其他故障，预判结果会被传送到控制中心为维护人员提供参考。

其更进一步特征在于：

位置偏差法流程如下，设在拍摄的图片中，标记区域为矩形区域，且矩形区域的区域为region，其面积为A，则其(i+j)阶几何矩为m_i，j＝∑_(r，c)∈Rrⁱc^j，其中(r，c)为region内坐标点，R表示region区域，i，j表示行列坐标的次幂；

进行归一化处理以排除面积因素对region特征的影响，归一化矩为

(n_1，0，n_0，1)表示region重心即中心的坐标；

设前后经过抓拍线提取到的图像叶尖标记中心点p、q在图像坐标系下的坐标为(r₁，c₁)、(r₂，c₂)，则位置偏差Ld为

该位置偏差即为p、q之间的欧氏距离，两中心的坐标的值在不断地变化，即下一帧抓拍的图像时，r₂＝r₁，c₂＝c₁而r₁、c₁为正在处理的叶尖区域中心坐标点值，如此周而复始。

其还需要设定偏差阈值Ld_T，理论上，位置偏差Ld为0，但实际检测过程中由于存在标记区域大小、位置、形状等人工误差与抓拍响应时间有所差异的问题，导致Ld会在一个范围内波动，因此需要设置一个合理的位置偏差阈值Ld_T；

该公式是在经过大量理论和定量分析之后得到的。式中，num为数据总数；nu为数据总数的1/10，取整(nu≥4)；Ld[mun]为数据集合；Ld_max[nu]为数据从大到小排列前nu个数据的集合；Ld_min[nu]为数据从小到大前nu个数据的集合；

使系统每个周期将Ld_T更新一次，周期为num，大小根据叶片转速或一天总触发次数而定。

在进行故障判断时，即时判断与过程判断相结合；即时判断为触发一次判断一次即Ld与Ld_T比较一次，目的是发现故障；过程判断作用是以Ld_T数据统计分析结果反映叶片在某一段时间的运行状态，进行基本数据挖掘。设过程判断周期为n，大小可根据情况设定，则数据集合为Ld_T[n]；设过程判断周期为n，过程判断均值m如式：

过程判断的波动率如式：

设整数a、b分别为过程判断中大于和小于m值的数据个数，则大于m的数据集合为Ld_T₁[a]，小于m的数据集合为Ld_T₂[b]。均值分别为m₁，m₂，如，正负波动率为σ_p和σ_n；

设过程判断最大和最小Ld_T为Ld_T_max、Ld_T_min，最大正离心率ε_{p_max}和最大负离心率ε_{n_max}如式：

正离心率越接近最大值，叶片运行越不稳定、越易发生故障。

故障分类方法具体如下，风力机叶片在运行过程中弯曲故障状态有两种可能性：一是圆周方向弯曲，即沿叶片旋转平面弯曲；二是轴向弯曲，即沿旋转平面的法向弯曲；

设矩形标记尺寸为l×h，标记中心点E到叶尖H的距离为s，其中s＞1/2，长宽比为e，即e＝l/h。当叶片发生圆周向弯曲时，此时矩形标记只是位置发生改变，但其形状并无变化，即e₁＝e；

当叶片发生轴向弯曲(风力机主轴方向)时，设弯曲角度即叶尖与弯曲点的连线与相同位置、正常情况下叶尖与该弯曲点的连线间夹角为α，长度改变，则

设相机像元大小为u×u，为保证标记提取的准确性，需满足

即s越大，可监测的弯曲角度α越大。当叶片变桨时，设叶片平面绕其轴线旋转角度为β，宽度改变，则

其通过标记形状的变化来判断叶片的故障形式，在图像处理中可以利用等效椭圆系数即相似椭圆长半轴R_a与短半轴R_b的比值来表示标记区域的形状变化，为不使该系数随region在图像中位置的变化而变化，利用中心距消除位置变化的影响，中心距u_i，j如式

R_a、R_b的值可以通过二阶中心矩获得；

由于R_a/R_b之1，但实际中可能存在随着轴向弯曲不断增大，标记区域的长小于其宽的情况，因此，存在临界轴向弯曲角α₀，满足式：lcosα₀＝h，当α≤α₀＝arccos(h/l)时，才能保证故障类型判断的准确性。

由于摄像机安装部位、即图像采集点与叶片的叶尖标记部位存在角度偏差，再加上图片采集成像为一个平面，从而使采集到的图像产生不可避免的自然变形，加上风力机叶片在运行过程中产生的变桨及因外力而变形情况，就会造成采集到的图片中标记与实际标记区域存在较大偏差，故需对Ra/Rb做一个补偿，以降低对故障类型判断结果的影响；在停机状态下将采集到的图像与标记区域进行比对，分别计算前后长度和宽度的比值，并做好记录；在叶片运行过程中，受到风速影响，标记叶片经过同一位置的时间间隔不同也会对采集到的图像形状产生影响，可增加曝光补偿来弥补拍摄时间延迟问题；在变桨情况下，由于摄像头采集点的位置没变，叶片角度改变造成标记矩形形状的改变，使得采集到的图象形状发生扭曲变形，Ra/Rb的比值相比于正常情况时的值要增大，当叶片发生变形时，被标记矩形会上翘或下垂，采集到的图象更趋向于圆滑，长短半轴更加和谐，使得Ra/Rb的值会一定程度的降低，故得出标记长宽比例补偿值

式中，k为相机的倾斜系数，

δ为相机斜视角，

为相机俯视角，e是标记的长宽比；由于k、e皆为常量，所以式中Δe是一个只与叶片变桨角度ω相关的变量，叶片变桨角度ω可以通过变桨系统中的编码器获得。

将获得的图像完成颜色从RGB转换到HsV为非线性转换，同时设置合适的ROI(Region Of Interest)，仅对所选图像区域进行处理，这样有利于提高计算机处理速度和程序实时性，所以可以在进行图像处理时，根据实际情况设置自己所需的ROI；对ROI区域进行滤波处理所需时间相比于完整图像减少，滤波目的是在尽量保证图像细节条件下对噪音进行抑制最终选用二项式滤波器，基本原理是加权均值滤波，假设二项式滤波器模板大小为m×n，则模板(i，j)位置处的权值大小为：

图像分割是包括基于阈值选取的图像分割、基于区域的图像分割和图像的边缘检测三个方面，图像分割之后进行模板匹配，使用创建的模板在叶尖标记图像定位标记位置，找到标记区域后对其中心点坐标、形状系数等特征进行计算提取，根据位置偏差法理论，实现故障诊断；根据故障分类法理论，实现故障类型预判。

叶尖标记实时反映叶片运行过程中的状态变化，同时为图像处理提供数据支撑；叶尖标记采用矩形，其尺寸需要根据不同功率风力机叶片叶尖部尺寸确定，长宽比值e不小于2、且不大于3。

叶片形成标记有两种方式，一是针对在役风力机叶片，将制作好的标记固定在叶片合适位置；二是在叶尖保留设计标记；其中标记材料需耐腐蚀，长期工作稳定，不易反光，与叶片背景区分明显。

采用本发明后，在叶尖标记图像定位标记位置，找到标记区域后对其中心点坐标、形状系数的特征进行计算提取，根据位置偏差法，实现故障诊断；之后根据故障分类方法，实现故障类型预判。

附图说明

图1为本发明的具体实施流程图；

图2为本发明的拍摄系统放置位置示意图；

图中序号所对应的名称如下：

激光器1、透射光栅2、鲍威尔棱镜3、屏幕4。

具体实施方式

一种风机叶片在线视觉监测与故障诊断方法：在固定位置设置拍摄系统，拍摄系统包括镜头和光源，镜头为大焦距镜头，将拍摄系统对准叶尖转动轨迹区域的一处位置，使得拍摄系统捕获叶尖位置的一设定形状的区域的抓拍图像，在需要拍摄的叶尖的对应位置区域进行区分标记，获取抓拍图像的位置，位置为所抓拍图像中叶尖的标记区域的中心点的坐标，之后进行位置偏差法处理，位置偏差即为依次抓拍的前后两张图像叶尖标记中心点间的位置偏差Ld，通过位置偏差Ld和偏差阈值Ld_T比较，从而判断叶片是否发生故障。

其包括如下步骤，步骤一、传感器检测到风机叶片运行到抓拍位置时，将产生触发信号，并且把触发信号传送给PLC控制系统，经过分析处理PLC控制系统会向信息采集系统发出抓拍信号，此时，相机和光源同步动作，光源发出闪光，增强拍摄光强度，相机在此瞬间采集一帧图像；

步骤二、系统会自动对采集到的图像进行预处理，为后续图像处理判断做好准备，图像处理系统会自动匹配寻找标记，如果标记第一次定位失败，为了保证检测可靠性，会对图像进行二次检测和特征提取，如果再次提取失败，则证明叶片状态异常、叶片存在折断故障，此时报警系统响应，发出报警，并把故障叶片图像保存到数据库以备查阅；

步骤三、如果第一次特征提取或者第二次特征提取成功，系统会根据位置偏差法的检测公式来计算位置偏差Ld，并将位置偏差计算结果Ld和设定的位置偏差阈值Ld_T相比较，如果比较结果是计算结果Ld小于Ld_T，说明叶片状态正常，诊断系统进入等待状态，等待下一次的位置偏差计算结果并进行下一次判断；

如果比较结果是计算结果Ld大于Ld_T，说明叶片状态可能存在异常，为了避免叶片偶然因素对诊断结果的干扰，根据故障延时判断方法，必须对叶片状态进行一次新的判断，以此来保证诊断的准确性。之后重复步骤三：如果第二次判断叶片正常，则判断系统初始化(i＝0，j＝0)，诊断系统进入等待状态，如果第二次判断叶片异常，把判断系统初始化，一方面报警系统响应，另一方面故障类型预判系统会对故障类型进行预判，预判出叶片是轴向弯曲、圆周弯曲还是其他故障，预判结果会被传送到控制中心为维护人员提供参考。

具体实施时，包括位置偏差法确定是否发生故障以及通过故障分类方法确定产生了何种故障。

位置偏差法流程如下，设在拍摄的图片中，标记区域为矩形区域，且矩形区域的区域为region，其面积为A，则其(i+j)阶几何矩为m_i，j＝∑_(r，c)∈Rrⁱc^j，其中(r，c)为region内坐标点，R表示region区域，i，j表示行列坐标的次幂；

进行归一化处理以排除面积因素对region特征的影响，归一化矩为

(n_1，0，n_0，1)表示region重心即中心的坐标；

设前后经过抓拍线提取到的图像叶尖标记中心点p、q在图像坐标系下的坐标为(r₁，c₁)、(r₂，c₂)，则位置偏差Ld为

该位置偏差即为p、q之间的欧氏距离，两中心的坐标的值在不断地变化，即下一帧抓拍的图像时，r₂＝r₁，c₂＝c₁而r₁、c₁为正在处理的叶尖区域中心坐标点值，如此周而复始。

其还需要设定偏差阈值Ld_T，理论上，位置偏差Ld为0，但实际检测过程中由于存在标记区域大小、位置、形状等人工误差与抓拍响应时间有所差异的问题，导致Ld会在一个范围内波动，因此需要设置一个合理的位置偏差阈值Ld_T；

该公式是在经过大量理论和定量分析之后得到的。式中，num为数据总数；nu为数据总数的1/10，取整(nu≥4)；Ld[mun]为数据集合；Ld_max[nu]为数据从大到小排列前nu个数据的集合；Ld_min[nu]为数据从小到大前nu个数据的集合；

使系统每个周期将Ld_T更新一次，周期为num，大小根据叶片转速或一天总触发次数而定。

具体实施时，根据自适应阈值的情况，系统会把每次的位置偏差计算结果Ld保存，当保存数量达到100时，系统根据自适应阈值公式计算得到新的位置偏差阈值N_Ld_T，系统会将新的位置偏差阈值取代之前的位置偏差阈值(Ld_T＝N_Ld_T)来作为固定位置偏差阈值，以上即时判断是为了及时发现叶片故障。

在进行故障判断时，即时判断与过程判断相结合；即时判断为触发一次判断一次即Ld与Ld_T比较一次，目的是发现故障；过程判断作用是以Ld_T数据统计分析结果反映叶片在某一段时间的运行状态，进行基本数据挖掘；设过程判断周期为n，大小可根据情况设定，则数据集合为Ld_T[n]；设过程判断周期为n，过程判断均值m如式：

过程判断的波动率如式：

设整数a、b分别为过程判断中大于和小于m值的数据个数，则大于m的数据集合为Ld_T₁[a]，小于m的数据集合为Ld_T₂[b]。均值分别为m₁，m₂，如，正负波动率为σ_p和σ_n；

设过程判断最大和最小Ld_T为Ld_T_max、Ld_T_min，最大正离心率ε_{p_max}和最大负离心率ε_{n_max}如式：

正离心率越接近最大值，叶片运行越不稳定、越易发生故障。

故障分类方法具体如下，风力机叶片在运行过程中弯曲故障状态有两种可能性：一是圆周方向弯曲，即沿叶片旋转平面弯曲；二是轴向弯曲，即沿旋转平面的法向弯曲。

设矩形标记尺寸为l×h，标记中心点E到叶尖H的距离为s，其中s＞1/2，长宽比为e，即e＝l/h。当叶片发生圆周向弯曲时，此时矩形标记只是位置发生改变，但其形状并无变化，即e₁＝e。

当叶片发生轴向弯曲(风力机主轴方向)时，设弯曲角度即叶尖与弯曲点的连线与相同位置、正常情况下叶尖与该弯曲点的连线间夹角为α，长度改变，则

设相机像元大小为u×u，为保证标记提取的准确性，需满足

即s越大，可监测的弯曲角度α越大。当叶片变桨时，设叶片平面绕其轴线旋转角度为β，宽度改变，则

其通过标记形状的变化来判断叶片的故障形式，在图像处理中可以利用等效椭圆系数即相似椭圆长半轴R_a与短半轴R_b的比值来表示标记区域的形状变化，为不使该系数随region在图像中位置的变化而变化，利用中心距消除位置变化的影响，中心距u_i，j如式

R_a、R_b的值可以通过二阶中心矩获得；

由于R_a/R_b≥1，但实际中可能存在随着轴向弯曲不断增大，标记区域的长小于其宽的情况，因此，存在临界轴向弯曲角α₀，满足式：lcosα₀＝h，当α≤α₀＝arccos(h/l)时，才能保证故障类型判断的准确性。

由于摄像机安装部位、即图像采集点与叶片的叶尖标记部位存在角度偏差，再加上图片采集成像为一个平面，从而使采集到的图像产生不可避免的自然变形，加上风力机叶片在运行过程中产生的变桨及因外力而变形情况，就会造成采集到的图片中标记与实际标记区域存在较大偏差，故需对Ra/Rb做一个补偿，以降低对故障类型判断结果的影响；在停机状态下将采集到的图像与标记区域进行比对，分别计算前后长度和宽度的比值，并做好记录；在叶片运行过程中，受到风速影响，标记叶片经过同一位置的时间间隔不同也会对采集到的图像形状产生影响，可增加曝光补偿来弥补拍摄时间延迟问题；在变桨情况下，由于摄像头采集点的位置没变，叶片角度改变造成标记矩形形状的改变，使得采集到的图象形状发生扭曲变形，Ra/Rb的比值相比于正常情况时的值要增大，当叶片发生变形时，被标记矩形会上翘或下垂，采集到的图象更趋向于圆滑，长短半轴更加和谐，使得Ra/Rb的值会一定程度的降低，故得出标记长宽比例补偿值

式中，k为相机的倾斜系数，

δ为相机斜视角，

为相机俯视角，e是标记的长宽比；由于k、e皆为常量，所以式中Δe是一个只与叶片变桨角度ω相关的变量，叶片变桨角度ω可以通过变桨系统中的编码器获得。

将获得的图像完成颜色从RGB转换到HsV为非线性转换，同时设置合适的ROI(Region Of Interest)，仅对所选图像区域进行处理，这样有利于提高计算机处理速度和程序实时性，所以可以在进行图像处理时，根据实际情况设置自己所需的ROI；对ROI区域进行滤波处理所需时间相比于完整图像减少，滤波目的是在尽量保证图像细节条件下对噪音进行抑制最终选用二项式滤波器，基本原理是加权均值滤波，假设二项式滤波器模板大小为m×n，则模板(i，j)位置处的权值大小为：

图像分割是包括基于阈值选取的图像分割、基于区域的图像分割和图像的边缘检测三个方面，图像分割之后进行模板匹配，使用创建的模板在叶尖标记图像定位标记位置，找到标记区域后对其中心点坐标、形状系数等特征进行计算提取，根据位置偏差法理论，实现故障诊断；根据故障分类法理论，实现故障类型预判。

叶尖标记实时反映叶片运行过程中的状态变化，同时为图像处理提供数据支撑；叶尖标记采用矩形，其尺寸需要根据不同功率风力机叶片叶尖部尺寸确定，长宽比值e不小于2、且不大于3；

叶片形成标记有两种方式，一是针对在役风力机叶片，将制作好的标记固定在叶片合适位置；二是在叶尖保留设计标记；其中标记材料需耐腐蚀，长期工作稳定，不易反光，与叶片背景区分明显。

其工作原理如下，在合适的位置布置拍摄系统，使其能够清晰的捕获所监测的叶片图片，

实际叶片运行状态监测中选择使用稳定性更好的白色光源；由于叶片实际长度很大，特别是对于基于叶尖标记的位置偏差方法，必须使用大焦距镜头，只有如此才能获得足够清晰的图像，减小图像处理的误差；位置偏差法不需要拍摄完整叶片，只需在叶尖部位红色区域做一个矩形或其他形状标记即可，比较的位置为所抓拍图像中叶尖标记中心点的坐标，所谓偏差即为依次抓拍的前后两张图像叶尖标记中心点间的欧式距离，这种方法具有动态适应性，可避免叶片变桨或正常弯曲影响，有助于提高诊断可靠性；叶尖的标记材料的稳定性必须要好；设计时，要保证标记材料的寿命不低于叶片正常寿命，尽量不出现后期运行一段时间标记破损需要进行修补的情况，叶片的标记区域形状优选为矩形，主要为了通过长宽比值比检测叶片是否发生故障。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种风机叶片在线视觉监测与故障诊断方法，其特征在于：在固定位置设置拍摄系统，拍摄系统包括镜头和光源，镜头为大焦距镜头，将拍摄系统对准叶尖转动轨迹区域的一处位置，使得拍摄系统捕获叶尖位置的一设定形状的区域的抓拍图像，在需要拍摄的叶尖的对应位置区域进行区分标记，获取抓拍图像的位置，位置为所抓拍图像中叶尖的标记区域的中心点的坐标，之后进行位置偏差法处理，位置偏差即为依次抓拍的前后两张图像叶尖标记中心点间的位置偏差Ld，通过位置偏差Ld和偏差阈值Ld_T比较，从而判断叶片是否发生故障。

2.如权利要求1所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于，其包括如下步骤：步骤一、传感器检测到风机叶片运行到抓拍位置时，将产生触发信号，并且把触发信号传送给PLC控制系统，经过分析处理PLC控制系统会向信息采集系统发出抓拍信号，此时，相机和光源同步动作，光源发出闪光，增强拍摄光强度，相机在此瞬间采集一帧图像；

步骤二、系统会自动对采集到的图像进行预处理，为后续图像处理判断做好准备，图像处理系统会自动匹配寻找标记，如果标记第一次定位失败，为了保证检测可靠性，会对图像进行二次检测和特征提取，如果再次提取失败，则证明叶片状态异常、叶片存在折断故障，此时报警系统响应，发出报警，并把故障叶片图像保存到数据库以备查阅；

步骤三、如果第一次特征提取或者第二次特征提取成功，系统会根据位置偏差法的检测公式来计算位置偏差Ld，并将位置偏差计算结果Ld和设定的位置偏差阈值Ld_T相比较，如果比较结果是计算结果Ld小于Ld_T，说明叶片状态正常，诊断系统进入等待状态，等待下一次的位置偏差计算结果并进行下一次判断；

如果比较结果是计算结果Ld大于Ld_T，说明叶片状态可能存在异常，为了避免叶片偶然因素对诊断结果的干扰，根据故障延时判断方法，必须对叶片状态进行一次新的判断，以此来保证诊断的准确性。之后重复步骤三：如果第二次判断叶片正常，则判断系统初始化(i＝0，j＝0)，诊断系统进入等待状态，如果第二次判断叶片异常，把判断系统初始化，一方面报警系统响应，另一方面故障类型预判系统会对故障类型进行预判，预判出叶片是轴向弯曲、圆周弯曲还是其他故障，预判结果会被传送到控制中心为维护人员提供参考。

3.如权利要求2所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于，位置偏差法流程如下：设在拍摄的图片中，标记区域为矩形区域，且矩形区域的区域为region，其面积为A，则其(i+j)阶几何矩为m_i，j＝∑_(r，c)∈Rrⁱc^j，其中(r，c)为region内坐标点，R表示region区域，i，j表示行列坐标的次幂；

进行归一化处理以排除面积因素对region特征的影响，归一化矩为

(n_1，0，n_0，1)表示region重心即中心的坐标；

设前后经过抓拍线提取到的图像叶尖标记中心点p、q在图像坐标系下的坐标为(r₁，c₁)、(r₂，c₂)，则位置偏差Ld为

该位置偏差即为p、q之间的欧氏距离，两中心的坐标的值在不断地变化，即下一帧抓拍的图像时，r₂＝r₁,c₂＝c₁而r₁、c₁为正在处理的叶尖区域中心坐标点值，如此周而复始。

4.如权利要求3所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于：其还需要设定偏差阈值Ld_T，理论上，位置偏差Ld为0，但实际检测过程中由于存在标记区域大小、位置、形状等人工误差与抓拍响应时间有所差异的问题，导致Ld会在一个范围内波动，因此需要设置一个合理的位置偏差阈值Ld_T；

该公式是在经过大量理论和定量分析之后得到的。式中，num为数据总数；nu为数据总数的1/10，取整(nu≥4)；Ld[mun]为数据集合；Ld_max[nu]为数据从大到小排列前nu个数据的集合；Ld_min[nu]为数据从小到大前nu个数据的集合；

使系统每个周期将Ld_T更新一次，周期为num，大小根据叶片转速或一天总触发次数而定。

5.如权利要求4所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于：在进行故障判断时，即时判断与过程判断相结合；即时判断为触发一次判断一次即Ld与Ld_T比较一次，目的是发现故障；过程判断作用是以Ld_T数据统计分析结果反映叶片在某一段时间的运行状态，进行基本数据挖掘；设过程判断周期为n，大小可根据情况设定，则数据集合为Ld_T[n]；设过程判断周期为n，过程判断均值m如式:

过程判断的波动率如式:

设整数a、b分别为过程判断中大于和小于m值的数据个数，则大于m的数据集合为Ld_T₁[a]，小于m的数据集合为Ld_T₂[b]。均值分别为m₁，m₂，如，正负波动率为σ_p和σ_n；

设过程判断最大和最小Ld_T为Ld_T_max、Ld_T_min，最大正离心率ε_{p_max}和最大负离心率ε_{n_max}如式：

正离心率越接近最大值，叶片运行越不稳定、越易发生故障。

6.如权利要求5所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于：故障分类方法具体如下，风力机叶片在运行过程中弯曲故障状态有两种可能性：一是圆周方向弯曲，即沿叶片旋转平面弯曲；二是轴向弯曲，即沿旋转平面的法向弯曲；

设矩形标记尺寸为l×h，标记中心点E到叶尖H的距离为s,其中s>l/2，长宽比为e，即e＝l/h。当叶片发生圆周向弯曲时，此时矩形标记只是位置发生改变，但其形状并无变化，即e₁＝e；

当叶片发生轴向弯曲(风力机主轴方向)时，设弯曲角度即叶尖与弯曲点的连线与相同位置、正常情况下叶尖与该弯曲点的连线间夹角为α，长度改变，则

设相机像元大小为u×u，为保证标记提取的准确性，需满足

即s越大，可监测的弯曲角度α越大。当叶片变桨时，设叶片平面绕其轴线旋转角度为β，宽度改变，则

7.如权利要求6所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于：其通过标记形状的变化来判断叶片的故障形式，在图像处理中可以利用等效椭圆系数即相似椭圆长半轴R_a与短半轴R_b的比值来表示标记区域的形状变化，为不使该系数随region在图像中位置的变化而变化，利用中心距消除位置变化的影响，中心距u_i，j如式

R_a、R_b的值可以通过二阶中心矩获得；

由于R_a/R_b≥1，但实际中可能存在随着轴向弯曲不断增大，标记区域的长小于其宽的情况，因此，存在临界轴向弯曲角α₀，满足式：lcosα₀＝h,当α≤α₀＝arccos(h/l)时，才能保证故障类型判断的准确性；

由于摄像机安装部位、即图像采集点与叶片的叶尖标记部位存在角度偏差，再加上图片采集成像为一个平面，从而使采集到的图像产生不可避免的自然变形，加上风力机叶片在运行过程中产生的变桨及因外力而变形情况，就会造成采集到的图片中标记与实际标记区域存在较大偏差，故需对Ra/Rb做一个补偿，以降低对故障类型判断结果的影响；在停机状态下将采集到的图像与标记区域进行比对，分别计算前后长度和宽度的比值，并做好记录；在叶片运行过程中，受到风速影响，标记叶片经过同一位置的时间间隔不同也会对采集到的图像形状产生影响，可增加曝光补偿来弥补拍摄时间延迟问题；在变桨情况下，由于摄像头采集点的位置没变，叶片角度改变造成标记矩形形状的改变，使得采集到的图象形状发生扭曲变形，Ra/Rb的比值相比于正常情况时的值要增大，当叶片发生变形时，被标记矩形会上翘或下垂，采集到的图象更趋向于圆滑，长短半轴更加和谐，使得Ra/Rb的值会一定程度的降低，故得出标记长宽比例补偿值

式中，k为相机的倾斜系数，

δ为相机斜视角，

为相机俯视角，e是标记的长宽比；由于k、e皆为常量，所以式中Δe是一个只与叶片变桨角度ω相关的变量，叶片变桨角度ω可以通过变桨系统中的编码器获得。

8.如权利要求7所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于：将获得的图像完成颜色从RGB转换到HsV为非线性转换，同时设置合适的ROI，仅对所选图像区域进行处理，这样有利于提高计算机处理速度和程序实时性，所以可以在进行图像处理时，根据实际情况设置自己所需的ROI；对ROI区域进行滤波处理所需时间相比于完整图像减少，滤波目的是在尽量保证图像细节条件下对噪音进行抑制最终选用二项式滤波器，基本原理是加权均值滤波，假设二项式滤波器模板大小为m×n，则模板(i，j)位置处的权值大小为：

图像分割是包括基于阈值选取的图像分割、基于区域的图像分割和图像的边缘检测三个方面，图像分割之后进行模板匹配，使用创建的模板在叶尖标记图像定位标记位置，找到标记区域后对其中心点坐标、形状系数等特征进行计算提取，根据位置偏差法理论，实现故障诊断；根据故障分类法理论，实现故障类型预判。

9.如权利要求1所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于：叶尖标记实时反映叶片运行过程中的状态变化，同时为图像处理提供数据支撑；叶尖标记采用矩形，其尺寸需要根据不同功率风力机叶片叶尖部尺寸确定，长宽比值e不小于2、且不大于3。

10.如权利要求1所述的一种风机叶片在线视觉监测与故障诊断方法，其特征在于：叶片形成标记有两种方式，一是针对在役风力机叶片，将制作好的标记固定在叶片合适位置；二是在叶尖保留设计标记；其中标记材料需耐腐蚀，长期工作稳定，不易反光，与叶片背景区分明显。

Images