CN107633511A - 一种基于自编码神经网络的风机视觉检测系统 - Google Patents

Abstract

本发明公开了一种基于自编码神经网络的风机视觉检测系统，对无人机航拍视频中的部分帧风机图像进行预处理，组成风机视觉检测的训练样本集和测试样本集，构建自编码神经网络，将训练集中的正负样本分别放入自编码器中进行预训练，以计算得到的激活量代替原始输入，形成新的样本特征集，再把新的特征向量输入到建立的BP神经网络中进行训练，得到风机的二分类器，继而将测试集中的样本图片放到分类器中进行测试，利用随机滑动窗口的方法寻找包含风机的区域，并通过非极大值抑制筛选得到最终风机检测区域；本发明可以广泛应用于模式识别以及风力发电的智能巡检等领域。

Description

一种基于自编码神经网络的风机视觉检测系统

技术领域

本发明涉及一种风机视觉检测系统。

背景技术

风电机组所处区域通常为滩涂或近海，分布范围广，周围工况复杂，工作环境恶劣，仅靠人力的巡检手段很难保证工作人员的效率和安全，再加之风电机组的装机容量逐年扩大，这无疑会为风电机组的状态监测和优化维修增加难度。因此，需要通过无人机技术对风电机组的运行状态进行航拍监控，采用计算机技术实现对风电机组的视觉检测，提高风机检测的可靠性。近年来国内外学者开展了诸多风机识别方面的研究工作，主要是利用声发射技术和红外热成像技术完成风机的健康监测，基于人工神经网络的研究仍然很少。

发明内容

本发明所要解决的技术问题是提供一种具备准确性与可靠性的基于自编码神经网络的风机视觉检测系统。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于自编码神经网络的风机视觉检测系统，实时执行如下步骤，针对无人机航拍视频运用自编码神经网络实现风机的识别；

步骤1)读取无人机航拍视频中的部分帧风机图像，经人工筛选建立风机样本数据库，将图像库中的所有图片缩放成预定大小的灰度图，并对其进行灰度直方图均衡化，进而获得风机的训练样本集和测试样本集；

步骤2)构建BP神经网络，BP神经网络包括四层：输入层、隐含层1、隐含层2和输出层，输入为归一化后的18*27的图片，输入层的神经元个数为486，隐含层的神经元数量选取为25，而输出层的节点数确定为2，用[1,0]代表正样本的期望输出，[0,1]代表负样本的期望输出；

步骤3)建立自编码器，分别对风机的正负样本集进行预训练，利用训练得到的模型参数和输入数据计算隐藏单元的激活量，以激活量代替原始输入更好地描述特征，其中模型参数包括输入层与隐含层的连接权重矩阵，偏置神经元连接权重向量，输出层与隐含层的连接权重矩阵。将正负样本集得到的结果进行整合，即合并权重矩阵，以此获取新的特征向量；

步骤4)将预训练得到的新样本集输入到BP神经网络中再次进行训练，得到风机的二分类器；

步骤5)将测试样本集中的待检测图片输入到4)训练好的BP神经网络中进行测试；

步骤6)采用随机滑动窗口的方法对测试图片进行检测，每到一个位置，便会给出对于这个窗口是否包含风机区域的一个分数，若该分数高于设定的阈值0.8，即认为此滑动窗包含目标物体，以得到输入图片中所有包含风机的区域，用矩形框圈定这些区域，并记录下当前窗口的位置信息和对应的分数；

步骤7)由步骤6)中的随机滑动窗口的边界位置确定包含风机区域的最远距离和风机的中心点，根据随机滑动窗口偏离中心位置的距离大小标记滑动窗，将距离少于窗口边长1/5的随机窗口标记为中心窗，将距离大于等于窗口边长1/5的滑动窗标记为边沿窗；

步骤8)计算步骤6)中每个包含风机的区域对应的随机滑动窗的联合概率密度P，舍去与中心窗联合概率密度小于0.5的边沿窗，即完成对包含风机的区域的初步筛选工作。

步骤9)根据步骤6)记录的分数对剩下的随机滑动窗进行非极大值抑制，在窗口相互重叠的局部区域内选出分数最高的极大值代表窗口，以此作为最终的风机检测区域。

作为本发明的一种优选技术方案，所述步骤3)是通过构建自编码神经网络对正负样本集进行预训练。将正负样本集放入自编码器中进行训练，在训练结束后可得到模型参数W⁽¹⁾(输入层与隐含层的连接权重矩阵),b⁽¹⁾(偏置神经元连接权重向量),W⁽²⁾(隐含层与输出层的连接权重矩阵),b⁽²⁾(偏置神经元连接权重向量),由给定的任意输入数据x计算出隐藏单元的激活量a，以激活量a代替原始输入x作为新的特征向量，对样本集来说是更好的特征表达。

作为本发明的一种优选技术方案，所述步骤3)中，将正样本集和负样本集分开放入自编码器中进行训练，再将二者的结果整合在一起，即相当于同时为正负样本找到了更好的特征描述。

作为本发明的一种优选技术方案，所述步骤6)中，采用滑动窗方法对测试样本图片进行检测。按间距和尺度大小逐一探测图片中的区域，由步骤4)所得的二分类器判断该区域是否为风机，并对此滑动窗进行评分，如果分数高于固定阈值0.8，即认为该滑动窗口含有目标物体风机，直至遍历整幅图像，检测出所有包含风机的区域。

作为本发明的一种优选技术方案，所述滑动窗口的尺度取决于测试图片的大小，上限处于输入图片大小的1/2到1之间，下限处于输入图片大小的1/10到1/5之间，而滑动窗的间距为滑动窗尺度的1/15到1/5之间。

作为本发明的一种优选技术方案，所述联合概率密度的计算公式如下：

其中，η表示归一化因子，n表示包含风机的随机滑动窗数量，λ_n表示随机滑动窗待学习的权重参数，F_n(g,x)表示状态转移函数，g表示滑动窗对应的评判分数。

作为本发明的一种优选技术方案，所述步骤9)中采用非极大值抑制方法消除多余交叉风机区域。由步骤6)记录的滑动窗位置和分数信息，利用贪心非极大值抑制方法剔除剩下相互重叠的风机区域，筛选得到最终的风机检测区域。具体为：

步骤A.将初始滑动窗口按照检测分数排序；

步骤B.把第1个初始检测窗口作为当前的抑制窗口；

步骤C.将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口和被抑制窗口的重合面积比率，其定义为：面积的交/面积的并，若重合面积比率高于设定阈值，则剔除该窗口。

步骤D.若只剩最后一个初始检测窗口则结束，否则按照排列的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤C。

本发明所述一种基于自编码神经网络的风机视觉检测系统采用以上技术方案。与现有技术相比，具有以下技术效果：本发明设计的基于自编码神经网络的风机视觉检测系统，通过结合无人机技术与计算机技术，提高风力视觉检测的可靠性与准确性，采用BP神经网络作为训练框架，使用自编码神经网络作为预训练框架完成训练阶段，结合训练好的神经网络和随机滑动窗方法实现测试阶段，可以基于无人机监控航拍视频实现风机的准确识别，具有低成本、高效率、安全稳定的优点；并且基于本发明所设计方法的视觉检测系统，可应用在无人机智能监控、风力发电的自动巡检等领域，具有较强的应用价值。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明所设计基于自编码神经网络的风机视觉检测方法的框架示意图；

图2是本发明所设计风机视觉检测系统中BP神经网络的结构示意图；

图3是本发明所设计风机视觉检测系统中自编码神经网络的结构示意图。

具体实施方式

考虑到风机检测的安全性与可靠性，本发明主要借助无人机技术和计算机技术作为实现风机识别的手段。为保证较高的检测准确率，在BP神经网络训练前引入正负样本集的预训练，提取出更能代表样本集的特征向量，并通过随机滑动窗口和非极大值抑制方法筛选出最终的风机区域。

如图1所示，本发明所设计一种基于自编码神经网络的风机视觉检测方法，基于无人机监测航拍与神经网络实现风机检测系统，对无人机航拍视频中的部分帧风机图像进行预处理，组成风机视觉检测的训练样本集和测试样本集，构建自编码神经网络，将训练集中的正负样本分别放入自编码器中进行预训练，以计算得到的激活量代替原始输入，形成新的样本特征集，再把新的特征向量输入到建立的BP神经网络中进行训练，得到风机的二分类器，继而将测试集中的样本图片放到分类器中进行测试，利用随机滑动窗口的方法寻找包含风机的区域，通过非极大值抑制筛选得到最终风机检测区域。在实际应用中，使用大疆四旋翼飞行器完成风机航拍工作，使用Matlab软件编写风机视觉检测算法，具体实施执行如下步骤：

步骤1)读取无人机航拍视频中的部分帧风机图像，经人工筛选建立风机样本数据库，将图像库中的所有图片缩放成预定大小18*27的灰度图，并对其进行灰度直方图均衡化，进而获得风电机组的训练样本集和测试样本集。灰度直方图均衡化处理的映射函数关系如下式(1)所示。

其中，r_k表示第k个灰度级，T(r_k)表示原图第k个灰度级的转换函数，m_j表示第j个灰度级的像素数量，M表示图像像素总数，而P_r(r_k)表示某个灰度级像素出现的概率，且P_r(r_k)＝m_k/M。

步骤2)构建BP神经网络，如图2所示，BP神经网络包括四层：输入层、隐含层1、隐含层2和输出层，输入为归一化后的18*27的图片，输入层的神经元个数为486，隐含层1和隐含层2的神经元数量选取为25，而输出层的节点数确定为2，分别对应风机和非风机，用[1,0]代表正样本的期望输出，[0,1]代表负样本的期望输出。

步骤3)建立自编码器，如图3所示，自编码神经网络包括三层：输入层、隐含层和输出层，输入层的节点数和输出层均为486，隐含层的节点数为25，分别对风机的正负样本集进行预训练，利用训练得到的模型参数和输入数据计算隐藏单元的激活量，以激活量代替原始输入更好地描述特征，其中模型参数包括W⁽¹⁾(输入层与隐含层的连接权重矩阵),b⁽¹⁾(偏置神经元连接权重向量),W⁽²⁾(隐含层与输出层的连接权重矩阵),b⁽²⁾(偏置神经元连接权重向量),将正负样本集得到的结果进行整合，即合并权重矩阵，以此获取新的特征向量。

传统神经网络将样本x和标签y作为输入，通过实际输出h_w,b(x)和理论输出y构造代价函数J(W,b；x,y)，而自编码神经网络是一种无监督的神经网络，它的输入输出只有样本x，利用实际输出h_w,b(x)和理论输出x构造代价函数J(W,b；x)，继而通过梯度下降法实现权值矩阵W和偏置项权重向量b的更新。自编码神经网络采用BP反向传播算法训练深度神经网络的权值矩阵，具体为：

设第l层第j个单元与第l+1层第i个单元之间的权重参数第l+1层第i个单元的偏置项为因此W⁽¹⁾表示输入层与隐含层之间的权重矩阵，W⁽²⁾表示隐含层与输出层之间的权重矩阵，b⁽¹⁾、b⁽²⁾表示偏置项权重向量，则每个单元节点的输入值和激活值定义为：

其中，S_l为神经元总数，f为激励函数Sigmoid函数，且f(z)＝1/(1+exp(-z))。如此，训练样本就在神经网络中实现了逐层的前向传播，将神经网络的最终输出表示为h_w,b(x)。

对于包含q个样本的样本集{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(q),y^(q))}，其代价函数如下式(4)：

其中，μ是权重衰减项。代价函数J(W,b；x,y)反映了实际输出和理论输出之间的差距，如果代价函数很小，则说明模型充分学习了训练样本。自编码神经网络的代价函数为J(W,b；x)，其试图逼近恒等函数：h_w,b(x)＝x，使得神经网络的输出等于输入，以达到重构原始特征的目的。不难看出，代价函数J(W,b；x)是一个非凸函数，通过梯度下降法，可找到局部最小值，训练样本也得以从输出层逐层反向传播，为获得更小的代价函数可计算W和b的偏导数实现对权值矩阵和偏置项的更新，其定义如式(5)、式(6)所示，其中α是学习速率。

因此，训练样本在反复进行前向传播和后向传播的过程中完成了对权值矩阵的训练，再根据式(2)、式(3)即可就算出隐藏单元的激活量a。

步骤4)将预训练得到的新样本集输入到BP神经网络中再次进行训练，得到风机的二分类器；

步骤5)将测试样本集中的待检测图片输入到4)训练好的BP神经网络中进行测试；

步骤6)采用随机滑动窗口的方法对测试图片进行检测，每到一个位置，便会给出对于这个窗口是否包含风机区域的一个分数，若该分数高于设定的阈值0.8，即认为此滑动窗包含目标物体，以得到输入图片中所有包含风机的区域，用矩形框圈定这些区域，并记录下当前窗口的位置信息和对应的分数。

随机滑动窗实质是根据一定的间距和滑动窗大小遍历图片区域，为避免漏检，滑动窗的尺度上限在输入图片大小的1/2到1之间，下限在输入图片大小的1/10到1/5之间，滑动窗的间距为滑动窗尺度的1/15到1/5。而需要记录的随机滑动窗位置信息包括滑动窗口的左上角点x坐标和y坐标以及右下角点x坐标和y坐标，关于随机滑动窗口的评判分数则是由二分类器利用公式g＝1/(e^-out+1)计算得到的，其中out表示二分类器输出值。

步骤7)由步骤6)中的随机滑动窗口的边界位置确定包含风机区域的最远距离和风机的中心点，根据随机滑动窗口偏离中心位置的距离大小标记滑动窗，将距离少于窗口边长1/5的随机窗口标记为中心窗，将距离大于等于窗口边长1/5的滑动窗标记为边沿窗；

步骤8)计算步骤6)中每个包含风机的区域对应的随机滑动窗的联合概率密度P，舍去与中心窗联合概率密度小于0.5的边缘窗，即完成对包含风机的区域的筛选工作。联合概率密度的计算公式如下式(7)：

其中，η表示归一化因子，n表示包含风机的随机滑动窗数量，λ_n表示随机滑动窗待学习的权重参数，其取值可以是任意随机整数，并且中心窗的取值往往大于边沿窗的取值，F_n(g,x)表示状态转移函数，其取值是状态(g_k-1,x_k-1)到状态(g_k,x_k)对应窗口之间的像素矩阵差值，g表示滑动窗对应的评判分数。

步骤9)根据步骤6)记录的分数对剩下的随机滑动窗进行非极大值抑制，在窗口相互重叠的局部区域内选出分数最高的极大值代表窗口，以此作为最终的风机检测区域。非极大值抑制顾名思义就是搜索局部极大值，抑制不是极大值的元素，主要方法有启发式融合算法、均值漂移非极大值抑制和贪心非极大值抑制，目前最为常见的是贪心非极大值抑制。具体为：

步骤A.将初始滑动窗口按照检测分数排序；

步骤B.把第1个初始检测窗口作为当前的抑制窗口；

步骤C.将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口和被抑制窗口的重合面积比率，其定义为：面积的交/面积的并，若重合面积比率高于设定阈值，则剔除该窗口。

步骤D.若只剩最后一个初始检测窗口则结束，否则按照排列的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤C。

上述技术方案所设计的基于自编码神经网络的风机视觉检测系统，通过结合无人机技术和计算机技术，提高风力视觉检测的可靠性与准确性，采用BP神经网络作为训练框架，使用自编码神经网络作为预训练框架完成训练阶段，结合训练好的深度神经网络和随机滑动窗方法实现测试阶段，可以基于无人机监控航拍视频实现风机的准确识别，具有低成本、高效率、安全稳定的优点；并且基于本发明所设计方法的视觉检测系统，可应用在无人机智能监控、风力发电的自动巡检等领域，具有较强的应用价值。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (7)

1.一种基于自编码神经网络的风机视觉检测系统，其特征是：基于自编码器训练神经网络，实时执行如下步骤，针对无人机航拍视频所获风机图像构建自编码神经网络实现风机视觉检测：

步骤1)读取无人机航拍视频中的部分帧风机图像，经人工筛选建立风机样本数据库，将图像库中的所有图片缩放成预定大小的灰度图，并对其进行灰度直方图均衡化，进而获得风机的训练样本集和测试样本集；

步骤2)构建BP神经网络，BP神经网络包括四层：输入层、隐含层1、隐含层2和输出层，输入为归一化后的18*27的图片，输入层的神经元个数为486，隐含层的神经元数量选取为25，而输出层的节点数确定为2，用[1,0]代表正样本的期望输出，[0,1]代表负样本的期望输出；

步骤3)建立自编码器，分别对风机的正负样本集进行预训练，利用训练得到的模型参数和输入数据计算隐藏单元的激活量，以激活量代替原始输入更好地描述特征，其中模型参数包括输入层与隐含层的连接权重矩阵，偏置神经元连接权重向量，输出层与隐含层的连接权重矩阵；将正负样本集得到的结果进行整合，即合并权重矩阵，以此获取新的特征向量；

步骤4)将预训练得到的新样本集输入到BP神经网络中再次进行训练，得到风机的二分类器；

步骤5)将测试样本集中的待检测图片输入到4)训练好的BP神经网络中进行测试；

步骤6)采用随机滑动窗口的方法对测试图片进行检测，每到一个位置，便会给出对于这个窗口是否包含风机区域的一个分数，若该分数高于设定的阈值0.8，即认为此滑动窗包含目标物体，以得到输入图片中所有包含风机的区域，用矩形框圈定这些区域，并记录下当前窗口的位置信息和对应的分数；

步骤7)由步骤6)中的随机滑动窗口的边界位置确定包含风机区域的最远距离和风机的中心点，根据随机滑动窗口偏离中心位置的距离大小标记滑动窗，将距离少于窗口边长1/5的随机窗口标记为中心窗，将距离大于等于窗口边长1/5的滑动窗标记为边沿窗；

步骤8)计算步骤6)中每个包含风机的区域对应的随机滑动窗的联合概率密度P，舍去与中心窗联合概率密度小于0.5的边沿窗，即完成对包含风机的区域的初步筛选工作；

步骤9)根据步骤6)记录的分数对剩下的随机滑动窗进行非极大值抑制，在窗口相互重叠的局部区域内选出分数最高的极大值代表窗口，以此作为最终的风机检测区域。

2.根据权利要求1所述一种基于自编码神经网络的风机视觉检测系统，其特征是：步骤3)是通过构建自编码神经网络对正负样本集进行预训练；将正负样本集放入自编码器中进行训练，在训练结束后可得到模型参数输入层与隐含层的连接权重矩阵W⁽¹⁾、偏置神经元连接权重向量b⁽¹⁾,隐含层与输出层的连接权重矩阵W⁽²⁾、偏置神经元连接权重向量b⁽²⁾,由给定的任意输入数据x计算出隐藏单元的激活量a，以激活量a代替原始输入x作为新的特征向量，对样本集来说是更好的特征表达。

3.根据权利要求2所述一种基于自编码神经网络的风机视觉检测系统，其特征是：步骤3)是将正样本集和负样本集分开放入自编码器中进行训练，再将二者的结果整合在一起，即相当于同时为正负样本找到了更好的特征描述。

4.根据权利要求1所述一种基于自编码神经网络的风机视觉检测系统，其特征是：步骤6)是采用滑动窗方法对测试样本图片进行检测；按间距和尺度大小逐一探测图片中的区域，由步骤4)所得的二分类器判断该区域是否为风机，并对此滑动窗进行评分，如果分数高于固定阈值0.8，即认为该滑动窗口含有目标物体风机，直至遍历整幅图像，检测出所有包含风机的区域。

5.根据权利要求4所述一种基于自编码神经网络的风机视觉检测系统，其特征是：滑动窗口的尺度取决于测试图片的大小，上限处于输入图片大小的1/2到1之间，下限处于输入图片大小的1/10到1/5之间，而滑动窗的间距为滑动窗尺度的1/15到1/5之间。

6.根据权利要求1所述一种基于自编码神经网络的风机视觉检测系统，其特征是：步骤8)中联合概率密度的计算公式如下：

<mrow> <mi>P</mi> <mo>=</mo> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Sigma;</mi> <mi>n</mi> </msub> <msub> <mi>&amp;lambda;</mi> <mi>n</mi> </msub> <msub> <mi>F</mi> <mi>n</mi> </msub> <mo>(</mo> <mrow> <mi>g</mi> <mo>,</mo> <mi>x</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <mi>&amp;eta;</mi> </mfrac> </mrow>

其中，η表示归一化因子，n表示包含风机的随机滑动窗数量，λ_n表示随机滑动窗待学习的权重参数，F_n(g,x)表示状态转移函数，g表示滑动窗对应的评判分数。

7.根据权利要求1所述一种基于自编码神经网络的风机视觉检测系统，其特征是：步骤9)采用非极大值抑制方法消除多余交叉风机区域；由步骤6)记录的滑动窗位置和分数信息，利用贪心非极大值抑制方法剔除剩下相互重叠的风机区域，筛选得到最终的风机检测区域；具体为：

步骤A.将初始滑动窗口按照检测分数排序；

步骤B.把第1个初始检测窗口作为当前的抑制窗口；

步骤C.将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口和被抑制窗口的重合面积比率，其定义为：面积的交/面积的并，若重合面积比率高于设定阈值，则剔除该窗口；

步骤D.若只剩最后一个初始检测窗口则结束，否则按照排列的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤C。