CN115170829A - 发电机转子通风孔异物监控识别系统及方法 - Google Patents

Abstract

本发明公开了一种基于轻量化YOLOv4的转子通风孔异物识别方法及系统，该方法包括：采集通风孔异物图像，对图像进行预处理；通风孔异物数据集构建；构建轻量化异物识别模型；基于通风孔异物数据集，对轻量化异物识别模型进行训练；测试训练后的轻量化异物识别模型，识别通风孔异物。本发明通过模拟各种光照亮度环境以及采集相应的视频图片，使得模型学到隐含在图像背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出；当模型面对未知数据时也有好的预测能力，有效避免过拟合与欠拟合；通过实现轻量化的YOLOv4，降低通风孔异物学习模型的参数量并提高了模型的特征提取能力，进一步提高了模型的检测速度与精度。

Description

发电机转子通风孔异物监控识别系统及方法

技术领域

本发明属于转子通风孔异物识别技术领域，更具体地，涉及一种发电机转子通风孔异物监控识别系统及方法。

背景技术

在发电机运行过程中，灰尘、铜屑、绝缘材料、紧固件等有可能脱落导致转子线圈通风孔的堵塞，轻则影响发电机效率，重则容易引起转子铁芯热量聚集而发生烧蚀引起发电机停机对电厂造成较大损失。由于发电机膛内空间结构复杂、维修成本高等原因，人工抽转子检修已经很难满足发电机检修服务的需求，所以目前国内发电机检修方法是采用搭载摄像头的检测机器人代替人工目视的方式，进入发电机内部定期进行膛内检查，其中一项检查任务是检测发电机转子通风孔是否存在异物。

目前检测转子通风孔异物的方法大部分是采取边录像边观察的方式，无法实时在线输出检测结果，存在人工误操作较多且检测精度不高的问题，而利用传统的视觉检测技术则一般需要经过图像收集、预处理、特征提取、特征匹配等实现目标识别，存在过程繁杂、检测速度慢、通用性较差的问题，仅为辅助检查手段，没有实现自动化、智能化。

为解决上述问题，专利CN 112766398 A公开一种发电机转子通风孔的识别方法及设备，对全部图片进行标记得到第一图片集，获取第一图片集中每一图片的梯度及方差，得到第一参数集，将第一图片集中的每一图片与第一参数集中的每一参数进行对应；将第一参数集分为训练集和测试集，采用训练集训练识别模型，得到第一模型，并采用测试集对第一模型进行测试，得到第二模型；将实时图片集的第二参数集输入第二模型中进行识别，若识别结果包含通风孔，则对实时图片集中包含通风孔的图片进行黑白二值化，若白色区域面积大于比例阈值，则识别到完整通风孔。它可以对发电机转子通风孔进行快速准确的识别，但是它仅能识别通风孔，无法识别转子通风孔内异物。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种发电机转子通风孔异物监控识别系统及方法，模型泛化能力强，通过模拟各种光照亮度环境以及采集相应的视频图片，使得模型学到隐含在图像背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出；当模型面对未知数据时也有好的预测能力，有效避免过拟合与欠拟合；本发明通过实现轻量化的YOLOv4，降低通风孔异物学习模型的参数量并提高了模型的特征提取能力，进一步提高了模型的检测速度与精度。

为实现上述目的，按照本发明的一方面，提供一种发电机转子通风孔异物监控识别方法，包括以下步骤：

S100采集通风孔异物图像，对图像进行预处理；

S200通风孔异物数据集构建；

S300构建轻量化异物识别模型；

S400 基于通风孔异物数据集，对轻量化异物识别模型进行训练；

S500测试训练后的轻量化异物识别模型，识别通风孔异物。

进一步地，所述S300中构建轻量化异物识别模型具体为：

S310 用MobileNetv3特征提取网络代替YOLOv4中的主干特征提取网络CSPDarknet53保持原来网络的特征提取次数和图像尺寸；

S320 以SPP+PANet空间金字塔池化网络作为轻量化异物识别模型第二部分，采用YOLOHead预测网络作为轻量化异物识别模型第三部分；

S330激活函数选用h-swish(x)函数：

其中，x为输入变量，RELU 6为限制最大输出为6的非线性激活函数，

；

S340确定整体损失函数：

其中，

表示位置损失误差，

表示置信度损失误差，

表示分类误 差。

进一步地，所述S320中以SPP+PANet空间金字塔池化网络作为轻量化异物识别模型第二部分具体为：

S321 SPP结构先分别使用大小为13×13、9×9、5×5、1×1的核进行最大池化处理，将池化后的结果堆叠起来；

S322 将原来YOLOv4的PAnet网络的3x3卷积层替换为深度可分离卷积，对MobileNetV3 主干网络特征提取的结果首先进行上采样，再进行下采样。

进一步地，所述位置损失误差为：

其中，

代表了预测框和真实框的中心点的欧式距离；IoU是检测结果 窗口和真实标签窗口的交叠率；b、b^gt分别是预测框和真实框的中心点坐标；c代表的是能够 同时包含预测框和真实框的最小闭包区域的对角线距离；w^gt和h^gt分别表示为真实框的宽 度以及高度；w和h 分别表示为预测框的宽度和高度；

所述置信度损失误差为：

其中，sxs表示分类特征层所划分的网格数，B表示每个网格点包含的先验框个数，

、

表示第i网格中第j个预测框内有无目标，

表示第i个网格预测目标置信 度，

表示第i个网格实际置信度，

为预设参数； obj为True Pos的平均置信度，当 前目标边框内存在目标的概率；noobj 为 False Pos 的平均置信度，当前目标边框内不存 在目标的概率；

所述分类误差为：

其中，sxs表示分类特征层所划分的网格数,c为检测目标分类 ，

表示第i网格 中第j个预测框内有无目标，

为表示第i个网格预测目标置信度，

为第i个网格实际 置信度；obj为True Pos的平均置信度，当前目标边框内存在目标的概率。

进一步地，所述S400具体包括：

S410搭建轻量化YOLOv4网络并测试，基于构建的通风孔内异物数据集采用余弦退火衰减法训练轻量化异物识别模型；

S420引入标签平滑，网络优化到限度停止优化，避免过拟合；

S430采用反向传播优化轻量化异物识别模型。

进一步地，所述S100中采集通风孔异物图像包括：

将检测机器人投放到发电机膛内，使用检测机器人的底部定焦摄像头，在不同的亮度等级下拍摄图像，每张图像中异物类别和数量均随机。

进一步地，所述S100中图像预处理包括：图像灰度处理、图像滤波、图像分割及形态学处理、图像增强。

进一步地，所述S200中通风孔异物数据集构建具体为：对预处理后的图像进行旋转、随机裁剪、拼接，以扩充数据集；对扩充后的图像进行标注，得到标准数据集。

进一步地，所述对扩充后的图像进行标注具体为：标注出每一幅异物图像所含异物的位置与类别，包括铜屑、紧固件、绝缘胶带、油泥、树脂五种异物，并定义其类别为copper、nut、tape、grease与resin，自动生成 .xml和.txt标注文件。

按照本发明的另一方面，提供一种基于轻量化YOLOv4的转子通风孔异物识别系统，包括：

检测机器人，包括设于底部的至少一个摄像头，用于实时智能采集视野内的图像，并上传；

远程主机，用于控制检测机器人，接收检测机器人采集的图像数据，执行上述方法进行异物识别。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1.本发明的转子通风孔异物识别方法，通过实现轻量化的YOLOv4，降低通风孔异物学习模型的参数量并提高了模型的特征提取能力，进一步推高了模型的检测速度与精度。

2. 本发明的转子通风孔异物识别方法，模型泛化能力强，通过模拟各种光照亮度环境以及采集相应的视频图片，使得模型学到隐含在图像背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出；当模型面对未知数据时也有好的预测能力，有效避免过拟合与欠拟合。

附图说明

图1为本发明转子通风孔异物检测算法流程图；

图2为本发明灰度化效果对比图（图中a）为原图，图中b）为灰度化效果图）；

图3为本发明中值滤波效果图；

图4为本发明图像分割效果对比图（图中a）为原图，图中b）为图像分割效果图）；

图5为本发明MSRCR去雾效果对比图（图中a）为原图，图中b）为MSRCR去雾效果图）；

图6为本发明典型异物示意图（图中a）为铜屑，图中b）为紧固件，图中c）为绝缘胶带，图中 d）为油泥，图中e）为树脂）；

图7为本发明MobileNetV3-YOLOv4网络结构示意图；

图8为本发明具有线性瓶颈的倒残差结构图；

图9为本发明Mobilenet V3 block图；

图10为本发明训练过程误差曲线图；

图11为本发明改进后的YOLOv4网络不同种类的异物识别效果图（图中a）为紧固件，图中b）为铜屑，图中c）为树脂，图中d）为绝缘胶带）。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供一种发电机转子通风孔异物监控识别方法，包括以下步骤：

S100采集通风孔异物图像，对图像进行预处理；

S200通风孔异物数据集构建；

S300构建轻量化异物识别模型；

S400 基于通风孔异物数据集，对轻量化异物识别模型进行训练；

S500测试训练后的轻量化异物识别模型，识别通风孔异物。

所述S100中采集通风孔异物图像包括：

将检测机器人投放到发电机膛内，使用检测机器人的底部定焦摄像头，在不同的亮度等级下拍摄图像，每张图像中异物类别和数量均随机。获得250张原始异物图像，该原始图像中包括50幅铜屑图像、50幅紧固件图像、50幅绝缘胶带图像、50幅油泥混合物图像、50幅树脂图像。

所述S100中对图像进行预处理包括：图像灰度处理、图像滤波、图像分割及形态学处理、图像增强。

所述图像灰度处理具体为：发电机转子通风孔所处环境光线昏暗，视频拍摄的图像效果偏暗，所以采用最大值灰度处理算法将原始彩色图像转化为灰度图像，将图像的亮度提升，将每一个像素点的像素值组合数量由255x255x255降低到255，降低了后续操作的计算量，如图2所示。

所述图像滤波具体为中值滤波：在图像采集的过程中，外界磁场会对传感器和电路造成一定影响，使得采集的图像中包含随机信号，对于通风孔内异物图像信息的反映是一种误导，进而影响图像的识别结果。采用中值滤波算法对图像进行滤波处理，可以更完整的保留边缘信息，最大限度的保留通风孔底部区域与侧壁的边界特性，如图3所示。中值滤波算法如下：

中值滤波先对中心像素的邻域内的所用像素值进行排序，然后用中间像素值替换原像素值，可以消除大的孤立点的影响。相对于均值滤波，中值滤波可以更完整的保留边缘信息，对于待处理灰度像素f(x, y)，经过中值滤波后，该点的灰度值g(x, y)如式1所示：

(1)

式中，M为邻域的大小，一般为3×3或5×5的矩形区域，也可选择圆形、圆环形。median表示取中值。

所述图像分割及形态学处理具体为：通风孔异物有多种类型，但是背景颜色较为固定，主要为金黄色和银白色，因此采用最大类间方差法作对图像采用进行二值化处理，找到类间方差最大值作为最终的分割阈值，选用Canny算法检测图像边缘，采用较小的核对二值化的图像进行膨胀操作，将边缘连接在一起，消除离散点并填充图像中的空洞，成为白色前景物体；再采用稍大的核进行闭运算，使其连为整体，降低因为膨胀操作对边界造成的影响。随后，计算闭运算后得到的图形的最小外接矩形，输出其左上方顶点坐标、长度及宽度，并从原图中截取该区域作为最终分割结果，如图4所示。

所述图像增强具体为采用带色彩恢复的多尺度视网膜增强算法 (MSRCR，Multi-Scale Retinex with Color Restoration)对图像进行去雾处理：

由于圆孔机型的槽楔内壁与铜排通风孔间距离很小，因此镜头不得不向外侧移动，因此成像结果不可避免的产生模糊，所以采用带色彩恢复的多尺度视网膜增强算法(MSRCR，Multi-Scale Retinex with Color Restoration)对图像进行去雾处理，增加后的效果如图5所示，异物区域80%得到了增强，整体清晰度提升明显，相比处理前异物更加明显。

具体去雾算法如下所示：

(2)

(3)

式中I_i(x, y)是第i个通道的图像，C_i是颜色恢复因子，f(·)是映射函数；β是增益常数；α是受控制的非线性强度，N表示颜色通道数量。上述常量取值由经验确定如表1所示：

表1 MSRCR常量系数设定值

符号	<i>N</i>	<i>C</i><sub><i>1</i></sub>	<i>C</i><sub><i>2</i></sub>	<i>C</i><sub><i>3</i></sub>	<i>G</i>	<i>b</i>	<i>α</i>	<i>β</i>	<i>w</i><sub><i>n</i></sub>
										值	3	15	80	250	192	-30	125	46	1/3

在MSRCR算法处理图像时，通过调整增益G和偏置O来避免像素值出现负值，如式4所示：

(4)

所述S200中通风孔异物数据集构建具体为：对预处理后的图像进行旋转、随机裁剪、拼接，以扩充数据集；对扩充后的图像进行标注，得到标准数据集。

所述对扩充后的图像进行标注使用的工具可选为LabelImg工具；

所述对扩充后的图像进行标注具体为：标注出每一幅异物图像所含异物的位置与类别，包括铜屑、紧固件、绝缘胶带、油泥、树脂五种异物，并定义其类别为copper、nut、tape、grease与resin，自动生成 .xml和.txt标注文件。

具体而言，获得250张预处理的图像后，再对图像进行旋转、随机裁剪、拼接，将数据集扩充至1000张，通过LabelImg工具标注，制作符合VOC2007标准的数据集，标注出每一幅异物图像所含异物的位置与类别，包括铜屑、紧固件、绝缘胶带、油泥、树脂五种异物，并定义其类别为copper、nut、tape、grease与resin，自动生成 .xml和.txt标注文件。其中异物属性及多种亮度如表2和图6所示，从中随机选择850张图像作为训练集，50张图像作为验证集，剩余100张图像作为测试集。

表2 异物属性表

类别	最小尺寸	出现原因	出现频率	危险等级
					铜屑	1mm×1mm	加工或磨损	中等	中等
紧固件	4mm×2mm	脱落或遗留	少	高
					绝缘胶带	2mm×1mm	脱落或遗留	中等	中等
油泥	1mm×1mm	运行中积累	多	中等
					树脂	1mm×1mm	脱落	中等	中等

所述S300中构建轻量化异物识别模型具体为：

S310 用MobileNetv3特征提取网络（backbone）代替YOLOv4中的主干特征提取网络CSPDarknet53保持原来网络的特征提取次数和图像尺寸；

S320 以SPP+PANet空间金字塔池化网络（neck）作为轻量化异物识别模型第二部分，采用YOLOHead预测网络作为轻量化异物识别模型第三部分；

S330激活函数选用h-swish(x)函数：

其中，x为输入变量，RELU 6为限制最大输出为6的非线性激活函数，

；

S340确定整体损失函数：

其中，

表示位置损失误差，

表示置信度损失误差，

表示分类误 差。

所述S320中以SPP+PANet空间金字塔池化网络（neck）作为轻量化异物识别模型第二部分具体为：

S321 SPP结构先分别使用大小为13×13、9×9、5×5、1×1的核进行最大池化处理，将池化后的结果堆叠起来；

S322 将原来YOLOv4的PAnet网络的3x3卷积层替换为深度可分离卷积，对MobileNetV3 主干网络特征提取的结果首先进行上采样，再进行下采样。

MobileNetV3 所采用的是深度可分离卷积神经网络，其优点在于很大程度上减少了模型参数的计算过程。保证精度的同时极大减少了模型的参数计算量。MobileNetV3具有深度可分离卷积和线性瓶颈的倒残差结构，如图8所示，其核心的Bneck架构如图9所示，还引入基于压缩奖惩结构的轻量级注意力模型(SE)，来调整每个通道的权重，提高了网络模型的精度。

激活函数选用h-swish(x)函数，替换原有的Mish函数，减少运算量，提高性能。

(5)

其中，x为输入变量，RELU 6为限制最大输出为6的非线性激活函数，

；

本发明使用的损失函数由置信度误差、CIOU误差和分类误差组成，整体的损失函数如式6所示。

(6)

其中，

表示位置损失误差，

表示置信度损失误差，

表示分类误 差。

IoU是检测结果窗口和真实标签窗口的交叠率，对目标物体的尺寸和长宽比例并不敏感，所以对于没有重叠的区域无法直接优化。CIoU同时考虑了目标与锚定框之间的距离、重叠率、尺度和惩罚项，使得目标框回归变得更加稳定，同时也可以避免在训练过程中无法收敛。惩罚因子RCIoU同时把预测框长宽比和拟合目标框的长宽比考虑进去，如式7-10所示。

(7)

(8)

(9)

(10)

其中，

代表了预测框和真实框的中心点的欧式距离；IoU是检测结果 窗口和真实标签窗口的交叠率；b、b^gt分别是预测框和真实框的中心点坐标；c代表的是能够 同时包含预测框和真实框的最小闭包区域的对角线距离；w^gt和h^gt分别表示为真实框的宽 度以及高度；w和h 分别表示为预测框的宽度和高度；

置信度损失误差如下：

(11)

其中，sxs表示分类特征层所划分的网格数，B表示每个网格点包含的先验框个数，

、

表示第i网格中第j个预测框内有无目标，

表示第i个网格预测目标置信 度，

表示第i个网格实际置信度，

为预设参数； obj为True Pos的平均置信度，当 前目标边框内存在目标的概率；noobj 为 False Pos 的平均置信度，当前目标边框内不存 在目标的概率。

分类误差如下：

其中，sxs表示分类特征层所划分的网格数,c为检测目标分类 ，

表示第i网格 中第j个预测框内有无目标，

为表示第i个网格预测目标置信度，

为第i个网格实际 置信度；obj为True Pos的平均置信度，当前目标边框内存在目标的概率。

所述S400具体包括：

S410基于构建的通风孔内异物数据集，采用余弦退火衰减法训练轻量化异物识别模型；

S420引入标签平滑，网络优化到限度停止优化，避免过拟合；

S430采用反向传播优化轻量化异物识别模型。

具体而言，通过Python在Keras环境下搭建上述轻量化YOLOv4网络，测试后，在搭载6G独立显存的RTX2060显卡上使用之前构建的通风孔内异物数据集训练，输入图像尺寸为416×416×3，800张用于训练，200张用于测试。根据显卡内存确定batch-size为8。训练过程中设定初始学习速率为0.001，训练过程中采用余弦退火衰减法，学习速率先线性上升后模拟cos函数下降，执行多次。设定迭代次数为120次，若连续10次及以上验证数据中的误差不再降低则提前停止迭代，并且每隔五代保存一次模型；训练数据中90%作为训练集，10%作为验证集，将文件名随机打乱后进行训练；虽然仅有5种类型的异物待识别，但是考虑到此后运行中可能遇到其它类型的异物，因此设置类型为20种，与VOC数据集保持一致，并由VOC的类别进行替代，方便以后的扩展。使用VOC数据集训练得到的权重作为异物识别的网络模型的预训练权重，训练过程的误差曲线如图10所示，横轴为迭代次数，纵轴为误差，loss为训练误差曲线，val-loss为测试误差曲线。

在训练时，网络会向正确分类与错误分类差值最大的方向改进，以二分类为例，设定原始的标签是0、1，则分类结果会无限趋近于1或者0，实际应用中，由于数据集可能存在标注错误的情况，会削弱网络的泛化能力，因此引入标签平滑，设定平滑系数为0.01，在平滑后标签变为0.005、0.995，当网络优化到这个范围后就停止优化，避免过拟合。本网络标签平滑系数设置为0.01。

(13)

其中，y表示当前的类别，labelsmoothing表示对标签进行平滑的系数，n_classes表示类别数量。

本发明提出的网络共有368层，采用反向传播对网络参数进行微调，在训练过程中，前50次迭代冻结前186层，只对后半部分进行优化，加快训练速度，然后解除冻结，全部进行训练。初始时，训练误差和验证误差背离较多，随着训练次数的增加两者的走势较为接近，但是验证误差波动较大，表明模型的方差稍大。该架构有助于减少网络层数参数过多和过拟合问题，能够实现对通风孔内多种异物的快速识别，具有较强的鲁棒性和拓展性。

所述S500中测试训练后的轻量化异物识别模型具体为：

具体而言，采用通风孔内异物数据集中的验证集测试，训练后的轻量化异物识别模型，各类型异物的识别准确率如表3所示。表3为本方法与的YOLOv4测试精度对比评估表，使用各类别检测精度(AveragePrecision)AP 值和所有类别平均检测精度(mean AveragePrecision)mAP 值作为评价指标，可见本发明的算法AP与mAP均高于YOLOv4，改进后的YOLOv4网络能够交准确识别不同种类的异物。识别效果如图11所示。

表3 测试精度对比评估表

本发明的转子通风孔异物识别方法，模型泛化能力强，通过模拟各种光照亮度环境以及采集相应的视频图片，使得模型学到隐含在图像背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出；当模型面对未知数据时也有好的预测能力，有效避免过拟合与欠拟合；本发明通过实现轻量化的YOLOv4，降低通风孔异物学习模型的参数量并提高了模型的特征提取能力，进一步提高了模型的检测速度与精度。

本发明各个实施例的实现基础是通过具有中央处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述方法的基础上，本发明提供了一种发电机转子通风孔异物监控识别系统，用于执行上述方法中的发电机转子通风孔异物监控识别方法。包括：

检测机器人，包括设于底部的至少一个摄像头，用于实时智能采集视野内的图像，并上传；

远程主机，用于控制检测机器人，接收检测机器人采集的图像数据，执行上述方法进行异物识别。

需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。

本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个中央处理器(Central processor)、通信接口(Communications Interface)、至少一个存储器(Memory)和通信总线，其中，至少一个中央处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个中央处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。

此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种发电机转子通风孔异物监控识别方法，其特征在于，包括以下步骤：

S100采集通风孔异物图像，对图像进行预处理；

S200通风孔异物数据集构建；

S300构建轻量化异物识别模型；

S400 基于通风孔异物数据集，对轻量化异物识别模型进行训练；

S500测试训练后的轻量化异物识别模型，识别通风孔异物。

2.根据权利要求1所述的发电机转子通风孔异物监控识别方法，其特征在于，所述S300中构建轻量化异物识别模型具体为：

S310 用MobileNetv3特征提取网络代替YOLOv4中的主干特征提取网络CSPDarknet53保持原来网络的特征提取次数和图像尺寸；

S320 以SPP+PANet空间金字塔池化网络作为轻量化异物识别模型第二部分，采用YOLOHead预测网络作为轻量化异物识别模型第三部分；

S330激活函数选用h-swish(x)函数：

其中，x为输入变量，RELU 6为限制最大输出为6的非线性激活函数，

；

S340确定整体损失函数：

其中，

表示位置损失误差，

表示置信度损失误差，

表示分类误差。

3.根据权利要求2所述的发电机转子通风孔异物监控识别方法，其特征在于，所述S320中以SPP+PANet空间金字塔池化网络作为轻量化异物识别模型第二部分具体为：

S321 SPP结构先分别使用大小为13×13、9×9、5×5、1×1的核进行最大池化处理，将池化后的结果堆叠起来；

S322 将原来YOLOv4的PAnet网络的3x3卷积层替换为深度可分离卷积，对MobileNetV3主干网络特征提取的结果首先进行上采样，再进行下采样。

4.根据权利要求2所述的发电机转子通风孔异物监控识别方法，其特征在于，所述位置损失误差为：

其中，

代表了预测框和真实框的中心点的欧式距离；IoU是检测结果窗口和 真实标签窗口的交叠率；b、b^gt分别是预测框和真实框的中心点坐标；c代表的是能够同时包 含预测框和真实框的最小闭包区域的对角线距离；w^gt和h^gt分别表示为真实框的宽度以及 高度；w和h 分别表示为预测框的宽度和高度；

所述置信度损失误差为：

其中，sxs表示分类特征层所划分的网格数，B表示每个网格点包含的先验框个数，

、

表示第i网格中第j个预测框内有无目标，

表示第i个网格预测目标置信度，

表示第i个网格实际置信度，

为预设参数； obj为True Pos的平均置信度，当前目标 边框内存在目标的概率；noobj 为 False Pos 的平均置信度，当前目标边框内不存在目标 的概率；

所述分类误差为：

其中，sxs表示分类特征层所划分的网格数,c为检测目标分类 ，

表示第i网格中第 j个预测框内有无目标，

为表示第i个网格预测目标置信度，

为第i个网格实际置信 度；obj为True Pos的平均置信度，当前目标边框内存在目标的概率。

5.根据权利要求1所述的发电机转子通风孔异物监控识别方法，其特征在于，所述S400具体包括：

S410搭建轻量化YOLOv4网络并测试，基于构建的通风孔内异物数据集采用余弦退火衰减法训练轻量化异物识别模型；

S420引入标签平滑，网络优化到限度停止优化，避免过拟合；

S430采用反向传播优化轻量化异物识别模型。

6.根据权利要求1所述的发电机转子通风孔异物监控识别方法，其特征在于，所述S100中采集通风孔异物图像包括：

将检测机器人投放到发电机膛内，使用检测机器人的底部定焦摄像头，在不同的亮度等级下拍摄图像，每张图像中异物类别和数量均随机。

7.根据权利要求1所述的发电机转子通风孔异物监控识别方法，其特征在于，所述S100中图像预处理包括：图像灰度处理、图像滤波、图像分割及形态学处理、图像增强。

8.根据权利要求1所述的发电机转子通风孔异物监控识别方法，其特征在于，所述S200中通风孔异物数据集构建具体为：对预处理后的图像进行旋转、随机裁剪、拼接，以扩充数据集；对扩充后的图像进行标注，得到标准数据集。

9.根据权利要求8所述的发电机转子通风孔异物监控识别方法，其特征在于，所述对扩充后的图像进行标注具体为：标注出每一幅异物图像所含异物的位置与类别，包括铜屑、紧固件、绝缘胶带、油泥、树脂五种异物，并定义其类别为copper、nut、tape、grease与resin，自动生成 .xml和.txt标注文件。

10.一种发电机转子通风孔异物监控识别系统，其特征在于，包括：

检测机器人，包括设于底部的至少一个摄像头，用于实时智能采集视野内的图像，并上传；

远程主机，用于接收检测机器人采集的图像数据，执行上述权利要求1-9任一项所述的方法进行异物识别。

Images