CN117593499A - 一种基于分布式巡检策略的水电站机电设备故障识别方法 - Google Patents

Abstract

本发明公开了一种基于分布式巡检策略的水电站机电设备故障识别方法，涉及水电站机电设备状态监测领域，能够解决现有水电站机电设备跑冒滴漏等故障巡检故障分类不精准及效率低的问题，本发明建立并训练深度孪生自注意力网络获得故障分类模型，对巡检目标区域的机电设备的图像获取亮度特征和纹理特征，通过组合图像亮度特征和纹理特征图像间的相似度度量，对描述符向量间的欧拉距离进行评估定位故障位置，对存在故障目标区域确认故障类型和识别故障严重程度；采用分布式巡检策略能够极大的降低在设备完整区域的时间，提升了巡检效率；能够准确识别机电设备故障类型；在故障分类模型建立策略，实现了故障类型的准确分类。

Description

一种基于分布式巡检策略的水电站机电设备故障识别方法

技术领域

本发明属于巡检领域，特别涉及一种基于分布式巡检策略的水电站机电设备故障识别方法。

背景技术

水电站机电设备是实现其防洪、发电、输电等功能的核心，及时准确定位机电设备跑冒滴漏等故障，确保水电站机电设备安全、可靠运行，对保障水电站正常服役具有重要价值。然而，现有水电站机电设备主要依赖于工人巡检，其巡检效率低下，巡检结果具有较强的不确定性，给水电站安全埋下隐患。

随着数字化水平的提升，基于机器人搭载工业相机的智能巡检方法被逐渐应用于水电站，该方法通过相机对机电设备运行状态进行拍摄，然后利用图像处理方法对机电设备跑冒滴漏等故障进行辨识，在一定程度上降低了人工巡检的强度。然而，现有的巡检方法由于直接对图像进行故障分类，因此需要相机靠近机电设备，使得单次巡检视场小，极大的降低了水电站机电设备巡检效率。

发明内容

本发明的目的是提供一种基于分布式巡检策略的水电站机电设备故障识别方法，解决了现有水电站机电设备跑冒滴漏等故障巡检效率低的问题。

本发明提出的一种基于分布式巡检策略的水电站机电设备故障识别方法，包括如下步骤：

步骤1建立并训练深度孪生自注意力网络获得故障分类模型

在机器人上安装相机，通过图像的方式对正常服役的机电设备不同位置进行记录，并收集发生不同故障类型的图像，建立深度孪生自注意力网络，利用故障图像对模型进行训练，获得故障分类模型；

步骤2对巡检目标区域的机电设备的图像获取亮度特征和纹理特征

利用相机对巡检目标区域的机电设备进行拍摄，分别计算所拍摄图像与对应的正常服役的机电设备图像像素亮度特征以及基于灰度共生矩阵得到的图像纹理特征；

步骤3通过组合图像亮度特征和纹理特征图像间的相似度度量

通过组合图像亮度特征和纹理特征，获得图像的描述符向量，并计算所拍摄图像的描述符向量与对应的正常服役的机电设备图像的描述符向量间的欧式距离，对两幅图像间的相似度进行度量；

步骤4对描述符向量间的欧拉距离进行评估定位故障位置

对描述符向量间的欧拉距离进行评估，当欧拉距离大于阈值时，则评估结果为目标图像区域存在故障；如果目标图像区域存在故障，则分别对所拍摄目标区域图像与对应的正常服役的机电设备图像进行同等形式的分区，并分别计算不同分区图像描述向量间的相似性，筛选相似度差异大于阈值k3的目标区域，定位故障位置；

步骤5对存在故障目标区域确认故障类型和识别故障严重程度

对存在故障目标区域进行图像放大，获得高分辨率目前区域图像，高分辨率大于等于阈值；并以高分辨率目标区域图像作为步骤1构建的深度孪生自注意力网络的输入，利用训练好的深度孪生自注意力网络对目标区域内故障进行分类，对故障类型进行确认；对分类后的故障图像进行二值化形态学分割处理，对故障严重程度进行识别。

优选地，步骤1中的建立深度孪生自注意力网络，利用故障图像对模型进行训练，获得故障分类模型包括如下步骤：

步骤101将收集到的图像构建样本对，并赋予样本对标签，样本对标签是指随机从N个故障类别中选择K个对图像，组成K个样本对，当给定一个样本对{k₁,k₂}，所述样本对的真实标签定义为：

式中：y为所述样本对的真实标签；为狄拉克δ函数；当k₁,k₂属于同一个故障类别时的值为1，属于不同故障类别时的值为0；

步骤102将样本对图像分别作为深度孪生自注意力网络上、下两部分的输入，分别经过卷积模块、自注意力机制模块以及全连接层，得到样本对的深度卷积特征，采用兰氏距离d对上、下图像深度卷积特征进行相关性度量，兰氏距离d对相关性度量：

式中：X^up和X^down分别为通过全连接得到的深度卷积特征，p深度卷积特征的维数；通过兰氏距离对其上、下网络得到的深度卷积特征相关性度量后，构建相关性热力图谱，对故障类型进行辨识，并将故障辨识结果与图像标签进行对比，进一步训练损失函数。

优选地，训练损失函数是指采用二分类交叉熵作为分类损失函数，定义样本对标签为0或1，在损失函数中加入了L2权重衰减项，同时对标签进行标签平滑，最终损失函数R为：

R(k₁,k₂)＝y′(k₁,k₂)logh_α(k₁,k₂)+(1-y′(k₁,k₂))log(1-h_α(k₁,k₂))+λα^Tα

式中：y′(k₁,k₂)标签平滑后样本标签；d_θ(k₁,k₂)模型输出的样本对相似度；α为深度孪生自注意力网络权值；λ∈[0,∞)为L2正则化系数。

优选地，步骤2中的图像像素亮度特征为选择亮度均值、标准差、梯度方向，具体计算如下：

设图像为I，则图像像素亮度均值计算为：

式中：I(x,y)为像素坐标x、y处的像素亮度；W为图像分辨率；

图像像素亮度标准差计算为：

图像像素梯度方向计算为：

式中：G_x和G_y分别为图像像素在水平和竖直方向上的梯度，是由边缘检测算计与图像亮度卷积得到的。

优选地，计算得到的梯度方面按角度进行统计，分别按角度为300n+300对落在不同区间内的数目进行统计，其中11≥n≥1，公式表示为：

式中：R₃₀₀、R₆₀₀和R₃₆₀₀分别为图像像素梯度在不同方向的数目；

优选地，步骤2中的灰度共生矩阵得到的图像纹理特征是通过计算图像灰度共生矩阵得到的图像角二阶矩、熵、对比度、自相关系数、逆差矩及方差的图像纹理特征。灰度共生矩阵的计算方法如下:

对图像进行灰度化处理，并以灰度为i的像素为原点，在距离位移d、逆时针方向θ处，灰度为j的像素在图像中同时出现的概率记作p(i,j)：

式中：(x,y)为灰度为i的像素的坐标，(x+Δt,y+Δt)为灰度为j的像素的坐标，N_x和N_y分别为图像水平和竖直方向的大小；

设图像的灰度级为M，则图像的灰度共生矩阵为M×M的方阵，表示为：

根据灰度共生矩阵，计算的图像纹理特征包括：

角二阶矩：

熵：

对比度：

自相关系数：

逆差矩：

方差：

式中：u_x和u_y为图像像素在x和y方向的灰度均值，和/>是x和y方向的方差，计算如下：

其中，i、j表示图像的灰度。

优选地，步骤3中对图像间的相似度进行度量是采用欧拉距离对图像间的相似度进行度量，具体的：

式中：s表示图像纹理特征与亮度特征组形成的描述符向量维数。

优选地，步骤4中的欧拉距离进行评估具体是指当欧拉距离d大于阈值k1时，则评估结果为图像区域存在故障；

当图像间欧拉距离d小于阈值k2时，则两幅图像比较相似，评估结果图像区域无故障，对于无故障情况，则重复步骤2和步骤3，对下一个目标区域进行监测。

优选地，步骤4中对目标区域故障位置进行定位是将所拍摄图像的待检测目标图像与对应的正常服役的机电设备原有图像，进行同等形式的分区并分别计算不同区域图像的描述符向量和Ω_R，计算目标区域图像间的相似度，采用欧式距离对其相似度进行度量，公式如下：

式中：s表示图像纹理特征与亮度特征组形成的描述符向量维数；

选取相似度差异大于阈值k3的目标区域，为故障位置存在的区域。

优选地，步骤5的高分辨率大于等于阈值，根据经验值确定阈值；

故障定位的目标区域与原有区域在图像亮度上的差异，采用Ostu算法对图像进行二值化分割处理，获得故障的轮廓；具体步骤如下：

步骤501设灰度图像(x,y)的灰度级为0到L，灰度级数i(0<i<L)的像素数为n，则图像中的总像素数为：

灰度级i出现的概率为P_i＝n_i/N，P_i≥0，整幅图像的灰度级平均值为：

若阈值k可以将灰度级分为两组D₀＝{1-K}和D₁＝{K+1～L}，分別代表背景和目标，则存在：

D₀产生的概率：

D₁产生的概率：

D₀的均值：

D₀的均值：

其中，为阈值k时的灰度平均值，由此可得到整幅图像的平均值为μ＝ω₀μ₀+ω₁μ₁；

步骤502按照模式识别理论，两类间的类间方差可以用以下公式计算：

以类间方差σ²(k)作为衡量不同阈值的标准，通过计算σ²(k)最大值的过程就可以对阈值进行确定，因此，二值化最佳阈值T_h为：

T_h＝argmaxσ²(k) 0≤k≤L

步骤501通过二值化最佳阈值T_h对目标区域进行二值化处理，获得故障的轮廓；并进一步基于二值图像统计故障目标区域故障所占图像像素的数目，根据所占数目的大小对故障程度进行识别。

本发明提供了一种基于分布式巡检策略的水电站机电设备故障识别方法，涉及水电站机电设备状态监测领域，能够解决现有水电站机电设备跑冒滴漏等故障巡检故障分类不精准及效率低的问题，本发明建立并训练深度孪生自注意力网络获得故障分类模型，对巡检目标区域的机电设备的图像获取亮度特征和纹理特征，通过组合图像亮度特征和纹理特征图像间的相似度度量，对描述符向量间的欧拉距离进行评估定位故障位置，对存在故障目标区域确认故障类型和识别故障严重程度；采用分布式巡检策略能够极大的降低在设备完整区域的时间，提升了巡检效率；能够准确识别机电设备故障类型；在故障分类模型建立策略解决故障图像样本少、样本数目分布不均匀导致现有模型无法有效训练的问题，实现了故障类型的准确分类。

附图说明

图1是一种基于分布式巡检策略的水电站机电设备故障识别方法的流程图；

图2是一种基于分布式巡检策略的水电站机电设备故障识别方法实施例流程图；

图3是一种基于分布式巡检策略的水电站机电设备故障识别方法深度孪生自注意力机制网络模型结构图；

图4是一种基于分布式巡检策略的水电站机电设备故障识别方法图像卷积操作示意图；

图5是一种基于分布式巡检策略的水电站机电设备故障识别方法自注意力机制网络模型结构示意图；

图6是一种基于分布式巡检策略的水电站机电设备故障识别方法图像梯度方向统计方法示意图；

图7是一种基于分布式巡检策略的水电站机电设备故障识别方法图像不同区域划分结果和相似性度量示意图；

图8是一种基于分布式巡检策略的水电站机电设备故障识别方法故障位置和程度判别结果；

图9是一种基于分布式巡检策略的水电站机电设备故障识别方法逻辑示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。

本发明实施例提供的一种基于分布式巡检策略的水电站机电设备故障识别方法，如图1所示。该方法包括如下步骤：

步骤1建立并训练深度孪生自注意力网络获得故障分类模型

在机器人上安装相机，通过图像的方式对正常服役的机电设备不同位置进行记录，并收集发生漏油、漏水、漏烟的不同故障类型图像，建立深度孪生自注意力网络，利用故障图像对模型进行训练，获得故障分类模型；

步骤2对巡检目标区域的机电设备的图像获取亮度特征和纹理特征

利用相机对巡检目标区域的机电设备进行拍摄，分别计算所拍摄图像与对应的正常服役的机电设备图像像素亮度的均值、标准差、亮度梯度等图像亮度特征以及基于灰度共生矩阵得到的图像角二阶矩、熵、对比度、自相关系数、逆差矩及方差等图像纹理特征；

步骤3通过组合图像亮度特征和纹理特征图像间的相似度度量

通过组合图像亮度特征和纹理特征，获得图像的描述符向量，并计算所拍摄图像的描述符向量与对应的正常服役的机电设备图像的描述符向量间的欧式距离，对两幅图像间的相似度进行度量；

步骤4对描述符向量间的欧拉距离进行评估定位故障位置

对描述符向量间的欧拉距离进行评估，当欧拉距离大于阈值时，则评估结果为目标图像区域存在故障；如果目标图像区域存在故障，则分别对所拍摄目标区域图像与对应的正常服役的机电设备图像进行同等形式的分区，并分别计算不同分区图像描述向量间的相似性，筛选相似度差异大于阈值k3的目标区域，定位故障位置；

步骤5对存在故障目标区域确认故障类型和识别故障严重程度

通过调整相机焦距与物距，对存在故障目标区域进行图像放大，获得高分辨率目前区域图像，所述高分辨率大于等于阈值；并以高分辨率目标区域图像作为步骤1构建的深度孪生自注意力网络的输入，利用训练好的深度孪生自注意力网络对目标区域内故障进行分类，对故障类型进行确认；对分类后的故障图像进行二值化形态学分割处理，对故障严重程度进行识别。

在一个实施例中，步骤1中的建立深度孪生自注意力网络，利用故障图像对模型进行训练，获得故障分类模型包括如下步骤：

步骤101将收集到的图像构建样本对，并赋予样本对标签，样本对标签是指随机从N个故障类别中选择K个对图像，组成K个样本对，当给定一个样本对{k₁,k₂}，所述样本对的真实标签定义为：

式中：y为所述样本对的真实标签；为狄拉克δ函数；当k₁,k₂属于同一个故障类别时的值为1，属于不同故障类别时的值为0；

步骤102将样本对图像分别作为深度孪生自注意力网络上、下两部分的输入，分别经过卷积模块、自注意力机制模块以及全连接层，得到样本对的深度卷积特征，采用兰氏距离d对上、下图像深度卷积特征进行相关性度量，兰氏距离d对相关性度量：

式中：X^up和X^down分别为通过全连接得到的深度卷积特征，p深度卷积特征的维数；通过兰氏距离对其上、下网络得到的深度卷积特征相关性度量后，构建相关性热力图谱，对故障类型进行辨识，并将故障辨识结果与图像标签进行对比，进一步训练损失函数。

在一个实施例中，训练损失函数是指采用二分类交叉熵作为分类损失函数，定义样本对标签为0或1，为降低残差-孪生神经网络训练过程过拟合的风险，在损失函数中加入了L2权重衰减项，同时对标签进行标签平滑，最终损失函数R为：

R(k₁,k₂)＝y′(k₁,k₂)logh_α(k₁,k₂)+(1-y′(k₁,k₂))log(1-h_α(k₁,k₂))+λα^Tα

式中：y′(k₁,k₂)标签平滑后样本标签；d_θ(k₁,k₂)模型输出的样本对相似度；α为深度孪生自注意力网络权值；λ∈[0,∞)为L2正则化系数。

在一个实施例中，步骤2中的图像像素亮度特征为选择亮度均值、标准差、梯度方向，具体计算如下：

设图像为I，则图像像素亮度均值计算为：

式中：I(x,y)为像素坐标x、y处的像素亮度；W为图像分辨率；

图像像素亮度标准差计算为：

图像像素梯度方向计算为：

式中：G_x和G_y分别为图像像素在水平和竖直方向上的梯度，是由边缘检测算计与图像亮度卷积得到的。

在一个实施例中，计算得到的梯度方面按角度进行统计，分别按角度为30°n+30°(30°、60°、90°、……360°)对落在不同区间内的数目进行统计，其中11≥n≥1，公式表示为：

式中：R_30°、R_60°和R_360°分别为图像像素梯度在不同方向的数目；

在一个实施例中，步骤2中的灰度共生矩阵得到的图像纹理特征是通过计算图像灰度共生矩阵得到的图像角二阶矩、熵、对比度、自相关系数、逆差矩及方差的图像纹理特征。灰度共生矩阵的计算方法如下:

对图像进行灰度化处理，并以灰度为i的像素为原点，在距离位移d、逆时针方向θ处，灰度为j的像素在图像中同时出现的概率记作p(i,j)：

式中：(x,y)为灰度为i的像素的坐标，(x+Δt,y+Δt)为灰度为j的像素的坐标，N_x和N_y分别为图像水平和竖直方向的大小；

设图像的灰度级为M，则图像的灰度共生矩阵为M×M的方阵，表示为：

根据灰度共生矩阵，计算的图像纹理特征包括：

角二阶矩：

熵：

对比度：

自相关系数：

逆差矩：

方差：

式中：u_x和u_y为图像像素在x和y方向的灰度均值，和/>是x和y方向的方差，计算如下：

其中，i、j表示图像的灰度。

在一个实施例中，步骤3中对图像间的相似度进行度量是采用欧拉距离对图像间的相似度进行度量，具体的：

式中：s表示图像纹理特征与亮度特征组形成的描述符向量维数。

在一个实施例中，步骤4中的欧拉距离进行评估具体是指当欧拉距离d大于阈值k1时，则评估结果为图像区域存在故障；

当图像间欧拉距离d小于阈值k2时，则两幅图像比较相似，评估结果图像区域无故障，对于无故障情况，则重复步骤2和步骤3，对下一个目标区域进行监测。

在一个实施例中，步骤4中对目标区域故障位置进行定位是将所拍摄图像的待检测目标图像与对应的正常服役的机电设备原有图像，进行同等形式的分区并分别计算不同区域图像的描述符向量和Ω_R，计算目标区域图像间的相似度，采用欧式距离对其相似度进行度量，公式如下：

式中：s表示图像纹理特征与亮度特征组形成的描述符向量维数；

选取相似度差异大于阈值k3的目标区域，为故障位置存在的区域。

在一个实施例中，步骤5的高分辨率大于等于阈值，根据经验值确定阈值；

故障定位的目标区域与原有区域在图像亮度上的差异(如管路是黄色，内部液体是白色)，采用Ostu算法对图像进行二值化分割处理，获得故障的轮廓；具体步骤如下：

步骤501设灰度图像(x,y)的灰度级为0到L，灰度级数i(0<i<L)的像素数为n，则图像中的总像素数为：

灰度级i出现的概率为P_i＝n_i/N，P_i≥0，整幅图像的灰度级平均值为：

若阈值k可以将灰度级分为两组D₀＝{1-K}和D₁＝{K+1～L}，分別代表背景和目标，则存在：

D₀产生的概率：

D₁产生的概率：

D₀的均值：

D₀的均值：

其中，为阈值k时的灰度平均值，由此可得到整幅图像的平均值为μ＝ω₀μ₀+ω₁μ₁；

步骤502按照模式识别理论，两类间的类间方差可以用以下公式计算：

以类间方差σ²(k)作为衡量不同阈值的标准，通过计算σ²(k)最大值的过程就可以对阈值进行确定，因此，二值化最佳阈值T_h为：

T_h＝argmaxσ²(k) 0≤k≤L

步骤501通过二值化最佳阈值T_h对目标区域进行二值化处理，获得故障的轮廓；并进一步基于二值图像统计故障目标区域故障所占图像像素的数目，根据所占数目的大小对故障程度进行识别。

本发明实施例提供了一种基于分布式巡检策略的水电站机电设备故障识别方法，涉及水电站机电设备状态监测领域，能够解决现有水电站机电设备跑冒滴漏等故障巡检故障分类不精准及效率低的问题，本发明建立并训练深度孪生自注意力网络获得故障分类模型，对巡检目标区域的机电设备的图像获取亮度特征和纹理特征，通过组合图像亮度特征和纹理特征图像间的相似度度量，对描述符向量间的欧拉距离进行评估定位故障位置，对存在故障目标区域确认故障类型和识别故障严重程度；采用分布式巡检策略能够极大的降低在设备完整区域的时间，提升了巡检效率；能够准确识别机电设备故障类型；在故障分类模型建立策略解决故障图像样本少、样本数目分布不均匀导致现有模型无法有效训练的问题，实现了故障类型的准确分类。

实施例一

本发明实施例提出一种基于分布式巡检策略的水电站机电设备故障识别方法，如图2所示，具体通过将水电站机电设备跑冒滴漏等故障的识别分为五个阶段，一是通过远距离大场景图像，确认该场景是否有故障，首先将存在故障进行故障类型标记，建立深度孪生自注意力网络训练，对故障进行分类；三是对无故障图像进行图像分区处理，获得区域亮度和纹理特征，对区域描述符Ω_R进行构建，同时还得到亮度特征纹理特征，对图像描述符Ω_q进行构建，相似度计算；四是将该场景在图像上进行区域划分，通过区域间逐级对比，定位故障发生的位置；四是通过调整相机焦距和物距，对有故障的位置图像进行放大，对故障类型进行确认；五是采用图像二值化、形态学分割技术，对故障严重程度进行判定识别。由于采用了分级故障巡检策略，降低了在无故障区域的巡检时间，极大的提升了水电站机电设备巡检效率。

在本发明提出的一种基于分布式巡检策略的水电站机电设备故障识别方法，该方法包括如下步骤：

步骤1：在机器人上安装相机，通过图像的方式对正常服役的机电设备不同位置进行记录，并收集发生漏油、漏水、漏烟等不同故障类型图像，建立深度孪生自注意力网络，利用故障图像对模型进行训练，获得故障分类模型。

具体的，采用相机对正常服役(未出现跑冒滴漏)的机电设备需要监测位置进行图像记录。然后，通过论文、网页等多方面收集跑冒滴漏等不同故障图像，并采用人工标记的方式对故障类型进行标记。考虑日常水电站故障样本少、故障样本类型分布不均以及机电设备前后故障发生具备一定时序特征的问题，在孪生网络体系的架构上，融合了自注意力机制网路模块，建立了深度孪生自注意力网络模型，如图3所示。

该模型由上、下两部分组成，需要将样本对图像作为上、下层网络的输入，先通过卷积模块获取图像卷积特征，卷积模块卷积操作示意图如图4所示，然后将卷积特征输入到自注意力机制网络模型中，自注意力机制模型结构如图5所示，获得更高级的图像卷积特征，并以此作为全连接层的输入，对特征进行交叉融合。最后，对上、下两层交叉融合后的特征相关性进行度量，获得相关性热力图，对故障类型进行辨识，并通过将辨识结果与图像标签进行对比，训练损失函数，最终通过训练好的网络实现故障类型的准确分类。

图3深度孪生自注意力机制网络模型结构

在模型训练过程中，首先需要将收集到的图像构建样本对，并赋予样本对标签，即随机从N中故障类别中选择K对图像，组成K个样本对，当给定一个样本对{k₁,k₂}，所述样本对的真实标签定义为：

式中：y为所述样本对的真实标签；为狄拉克δ函数；当k₁,k₂属于同一个故障类别时的值为1，属于不同故障类别时的值为0。/>

其次，将样本对图像分别作为深度孪生自注意力网络上、下部分的输入，分别经过卷积模块、自注意力机制模块以及全连接层，得到样本对的深度卷积特征，对上、下图像深度卷积特征进行相关性度量，在本发明中，为兼顾精度和效率，采用兰氏距离d对其进行衡量：

式中：X^up和X^down分别为通过全连接得到的深度卷积特征，p深度卷积特征的维数。

通过兰氏距离对其上、下网络得到的深度卷积特征相关性后，构建相关性热力图谱，对故障类型进行辨识，并将故障辨识结果与图像标签进行对比，训练损失函数。

在本发明中，考虑样本对标签为0或1，因此，采用二分类交叉熵作为分类损失函数，为降低残差-孪生神经网络的过拟合风险，在损失函数中加入了L2权重衰减项，同时对标签进行标签平滑，最终损失函数R为：

R(k₁,k₂)＝y′(k₁,k₂)logh_α(k₁,k₂)+(1-y′(k₁,k₂))log(1-h_α(k₁,k₂))+λα^Tα

式中：y′(k₁,k₂)标签平滑后样本标签；d_θ(k₁,k₂)模型输出的样本对相似度；α为深度孪生自注意力网络权值；λ∈[0,∞)为L2正则化系数。

步骤2：利用相机对巡检区域的机电设备进行拍摄，并分别计算所拍摄图像与对应的正常服役的机电设备图像像素亮度的均值、标准差、亮度梯度等图像亮度特征以及基于灰度共生矩阵得到的图像角二阶矩、熵、对比度、自相关系数、逆差矩及方差等图像纹理特征。

具体的，为实现图像快速、高效的对比，本发明结合图像亮度特征好纹理特征对图像进行描述，在图像亮度特征上，本发明选择亮度均值、标准差、梯度方向，相关计算如下：

设图像为I，则图像亮度均值计算为：

式中：I(x,y)为像素坐标x、y处的像素亮度；W为图像分辨率。

图像亮度标准差计算为：

图像梯度方向计算为：

式中：G_x和G_y分别为图像像素在水平和竖直方向上的梯度，是由边缘检测算计与图像亮度卷积得到的。

在本发明中，为充分发挥梯度方向的作用，对计算得到的梯度方面按角度进行统计，即分别按角度为30°、60°、90°、……、360°对落在不同区间内的数目进行统计(如图6所示)，公式表示为：

式中：R_30°、R_60°和R_360°分别为图像像素梯度在不同方向的数目。

另一方面，通过计算图像灰度共生矩阵得到的图像角二阶矩、熵、对比度、自相关系数、逆差矩及方差等图像纹理特征。灰度共生矩阵的计算方法如下:

对图像进行灰度化处理，并以灰度为i的像素为原点，在距离位移d、逆时针方向θ处，灰度为j的像素在图像中同时出现的概率记作p(i,j)：

式中：(x,y)为灰度为i的像素的坐标，(x+Δt,y+Δt)为灰度为j的像素的坐标，N_x和N_y分别为图像水平和竖直方向的大小。

在本发明中，设图像的灰度级为M，则图像的灰度共生矩阵为M×M的方阵，表示为：

根据灰度共生矩阵，计算的图像纹理特征包括：

角二阶矩：

熵：

对比度：

自相关系数：

逆差矩：

方差：

/>

式中：u_x和u_y为图像像素在x和y方向的灰度均值，和/>是x和y方向的方差，计算如下：

步骤3：通过组合图像亮度特征和纹理特征，获得图像描述符向量，并计算所拍摄图像描述符向量与对应的正常服役的机电设备图像描述符向量间的距离，对图像间的相似度进行度量。

将图像的亮度均值、标准差、梯度方向等亮度特征与角二阶矩、熵、对比度、自相关系数等纹理特征进行组合，构建图像描述符向量。设正常服役的机电设备图像描述符向量为Ω_q，所拍摄图像描述符向量为在本发明中，采用欧拉距离对图像间的相似度进行度量，具体的：

式中：s表示图像纹理特征与亮度特征组形成的描述符向量维数。

步骤4：在该步骤中，对计算得到的欧拉距离进行评估，当图像间欧拉距离d小于阈值k2时，证明两幅图比较相似，无故障风险，对于无故障情况，则重复步骤2和步骤3，对下一个目标区域进行监测.当欧拉距离较大时，证明图像间差异大，即该图像区域存在故障风险。如该视场存在故障，则分别对所拍摄图像与对应的正常服役的机电设备图像进行同等形式的分区，并分别计算不同分区图像描述向量间的相似性，筛选相似度差异大的区域，对故障位置进行定位。

具体的，将所拍摄图像(待检测图像)与对应的正常服役的机电设备图像(原有图像)进行同等形式的分区，如图7所示，并分别计算不同区域图像描述符向量和Ω_R，计算对应区域图像间的相似性，选取相似性最大的区域对故障位置进行定位。

步骤5：调整相机焦距与物距，对存在故障区域进行放大，并以放大后的图像为输入，利用训练好的深度孪生自注意力网络对区域内故障进行分类，对故障类型进行确认。具体将存在故障图像区域通过调整相机焦距、物距的方式进行放大，并以放大后的图像为步骤1构建的深度孪生自注意力网络为输入，利用深度孪生自注意力网络对区域内的故障类型进行分类。对分类后的故障图像进行二值化等形态学分割技术处理，对故障严重程度进行识别。在本发明中，为达到较为理想的分割效果，考虑故障区域与原有区域在图像亮度上的差异(如管路是黄色，内部液体是白色)，采用Ostu算法对图想进行二值化处理，获得故障的轮廓。具体如下：

设灰度图像(x,y)的灰度级为0到L，灰度级数i(0<i<L)的像素数为n，则图像中的总像素数为：

/>

灰度级i出现的概率为P_i＝n_i/N，P_i≥0，整幅图像的灰度级平均值为：

若阈值k可以将灰度级分为两组D₀＝{1-K}和D₁＝{K+1～L}，分別代表背景和目标，则存在：

D₀产生的概率：

D₁产生的概率：

D₀的均值：

D₀的均值：

其中，为阈值k时的灰度平均值，由此可得到整幅图像的平均值为μ＝ω₀μ₀+ω₁μ₁。按照模式识别理论，两类间的类间方差可以用以下公式计算：

以类间方差σ²(k)作为衡量不同阈值的标准，通过计算σ²(k)最大值的过程就可以对阈值进行确定，因此，二值化最佳阈值T_h为：

T_h＝argmaxσ²(k) 0≤k≤L

最后，通过二值化最佳阈值T_h对目标区域进行二值化处理，获得故障的轮廓。并进一步基于二值图像统计故障目标区域故障所占图像像素的数目，根据所占数目的大小对故障程度进行识别，如图8所示。首次提出了面向水电站机电设备故障识别的等级，即从原有巡检系统的“有没有故障”到发明技术方案的故障识别逻辑为“有没有故障、故障在哪、什么类型故障、故障程度多大”等四个等级，如图9所示，能够更好的为机电设备检修提供依据。

本发明实施例提供一种基于分布式巡检策略的水电站机电设备故障识别方法，解决了现有水电站机电设备跑冒滴漏等故障巡检故障分类不精准及效率低的问题，本发明建立并训练深度孪生自注意力网络获得故障分类模型，对巡检目标区域的机电设备的图像获取亮度特征和纹理特征，通过组合图像亮度特征和纹理特征图像间的相似度度量，对描述符向量间的欧拉距离进行评估定位故障位置，对存在故障目标区域确认故障类型和识别故障严重程度；在水电站巡检策略方面，相较于以往采用小视场逐点巡检的方式，采用分布式巡检策略能够极大的降低在设备完整区域的时间，提升了巡检效率；在故障识别与分类方面，相对比于现有的识别方法直接对机电设备有、无故障进行识别，属于故障识别模型，无法对故障类型进行分类，导致后期与工器具库的联动(不同故障选用不同工器具)出现差异。作为对比，本发明所建模型是一种故障分类模型，能够准确识别机电设备故障类型；在故障分类模型建立策略方面，考虑故障图像样本少、样本数目分布不均匀导致现有模型无法有效训练的问题，以及故障前后发生时序特征的问题，建立了深度孪生自注意力网络模型，实现了故障类型的准确分类。

Claims (10)

1.一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，所述方法包括如下步骤：

步骤1建立并训练深度孪生自注意力网络获得故障分类模型

在机器人上安装相机，通过图像的方式对正常服役的机电设备不同位置进行记录，并收集发生不同故障类型的图像，建立深度孪生自注意力网络，利用故障图像对模型进行训练，获得故障分类模型；

步骤2对巡检目标区域的机电设备的图像获取亮度特征和纹理特征

利用相机对巡检目标区域的机电设备进行拍摄，分别计算所拍摄图像与对应的正常服役的机电设备图像像素亮度特征以及基于灰度共生矩阵得到的图像纹理特征；

步骤3通过组合图像亮度特征和纹理特征图像间的相似度度量

通过组合图像亮度特征和纹理特征，获得图像的描述符向量，并计算所拍摄图像的描述符向量与对应的正常服役的机电设备图像的描述符向量间的欧式距离，对两幅图像间的相似度进行度量；

步骤4对描述符向量间的欧拉距离进行评估定位故障位置

对描述符向量间的欧拉距离进行评估，当欧拉距离大于阈值时，则评估结果为目标图像区域存在故障；如果目标图像区域存在故障，则分别对所拍摄目标区域图像与对应的正常服役的机电设备图像进行同等形式的分区，并分别计算不同分区图像描述向量间的相似性，筛选相似度差异大于阈值k3的目标区域，定位故障位置；

步骤5对存在故障目标区域确认故障类型和识别故障严重程度

对存在故障目标区域进行图像放大，获得高分辨率目前区域图像，所述高分辨率大于等于阈值；并以高分辨率目标区域图像作为步骤1构建的深度孪生自注意力网络的输入，利用训练好的深度孪生自注意力网络对目标区域内故障进行分类，对故障类型进行确认；对分类后的故障图像进行二值化形态学分割处理，对故障严重程度进行识别。

2.根据权利要求1所述的一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，步骤1中的建立深度孪生自注意力网络，利用故障图像对模型进行训练，获得故障分类模型包括如下步骤：

步骤101将收集到的图像构建样本对，并赋予样本对标签，样本对标签是指随机从N个故障类别中选择K个对图像，组成K个样本对，当给定一个样本对{k₁,k₂}，所述样本对的真实标签定义为：

式中：y为所述样本对的真实标签；为狄拉克δ函数；当k₁,k₂属于同一个故障类别时的值为1，属于不同故障类别时的值为0；

步骤102将样本对图像分别作为深度孪生自注意力网络上、下两部分的输入，分别经过卷积模块、自注意力机制模块以及全连接层，得到样本对的深度卷积特征，采用兰氏距离d对上、下图像深度卷积特征进行相关性度量，兰氏距离d对相关性度量：

式中：X^up和X^down分别为通过全连接得到的深度卷积特征，p深度卷积特征的维数；通过兰氏距离对其上、下网络得到的深度卷积特征相关性度量后，构建相关性热力图谱，对故障类型进行辨识，并将故障辨识结果与图像标签进行对比，进一步训练损失函数。

3.根据权利要求2所述的一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，训练损失函数是指采用二分类交叉熵作为分类损失函数，定义样本对标签为0或1，在损失函数中加入了L2权重衰减项，同时对标签进行标签平滑，最终损失函数R为：

R(k₁,k₂)＝y′(k₁,k₂)logh_α(k₁,k₂)+(1-y′(k₁,k₂))log(1-h_α(k₁,k₂))+λα^Tα

式中：y′(k₁,k₂)标签平滑后样本标签；d_θ(k₁,k₂)模型输出的样本对相似度；α为深度孪生自注意力网络权值；λ∈[0,∞)为L2正则化系数。

4.根据权利要求3所述的一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，步骤2中的图像像素亮度特征为选择亮度均值、标准差、梯度方向，具体计算如下：

设图像为I，则图像像素亮度均值计算为：

式中：I(x,y)为像素坐标x、y处的像素亮度；W为图像分辨率；

图像像素亮度标准差计算为：

图像像素梯度方向计算为：

式中：G_x和G_y分别为图像像素在水平和竖直方向上的梯度，是由边缘检测算计与图像亮度卷积得到的。

5.根据权利要求4所述的一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，计算得到的梯度方面按角度进行统计，分别按角度为30°n+30°对落在不同区间内的数目进行统计，其中11≥n≥1，公式表示为：

式中：R_30°、R_60°和R_360°分别为图像像素梯度在不同方向的数目。

6.根据权利要求1所述的一种基于分布式巡检策略，的水电站机电设备故障识别方法，其特征在于，步骤2中的灰度共生矩阵得到的图像纹理特征是通过计算图像灰度共生矩阵得到的图像角二阶矩、熵、对比度、自相关系数、逆差矩及方差的图像纹理特征；灰度共生矩阵的计算方法如下:

对图像进行灰度化处理，并以灰度为i的像素为原点，在距离位移d、逆时针方向θ处，灰度为j的像素在图像中同时出现的概率记作p(i,j)：

式中：(x,y)为灰度为i的像素的坐标，(x+Δt,y+Δt)为灰度为j的像素的坐标，N_x和N_y分别为图像水平和竖直方向的大小；

设图像的灰度级为M，则图像的灰度共生矩阵为M×M的方阵，表示为：

根据灰度共生矩阵，计算的图像纹理特征包括：

角二阶矩：

熵：

对比度：

自相关系数：

逆差矩：

方差：

式中：u_x和u_y为图像像素在x和y方向的灰度均值，和/>是x和y方向的方差，计算如下：

其中，i、j表示图像的灰度。

7.根据权利要求1所述的一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，步骤3中对图像间的相似度进行度量是采用欧拉距离对图像间的相似度进行度量，具体的：

式中：s表示图像纹理特征与亮度特征组形成的描述符向量维数。

8.根据权利要求1所述的一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，步骤4中的欧拉距离进行评估具体是指当欧拉距离d大于阈值k1时，则评估结果为图像区域存在故障；

当图像间欧拉距离d小于阈值k2时，则两幅图像比较相似，评估结果图像区域无故障，对于无故障情况，则重复步骤2和步骤3，对下一个目标区域进行监测。

9.根据权利要求1所述的一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，步骤4中对目标区域故障位置进行定位是将所拍摄图像的待检测目标图像与对应的正常服役的机电设备原有图像，进行同等形式的分区并分别计算不同区域图像的描述符向量和Ω_R，计算目标区域图像间的相似度，采用欧式距离对其相似度进行度量，公式如下：/>

式中：s表示图像纹理特征与亮度特征组形成的描述符向量维数；

选取相似度差异大于阈值k3的目标区域，为故障位置存在的区域。

10.根据权利要求9所述的一种基于分布式巡检策略的水电站机电设备故障识别方法，其特征在于，步骤5的高分辨率大于等于阈值，根据经验值确定阈值；

故障定位的目标区域与原有区域在图像亮度上的差异，采用Ostu算法对图像进行二值化分割处理，获得故障的轮廓；具体步骤如下：

步骤501设灰度图像(x,y)的灰度级为0到L，灰度级数i的像素数为n，其中，0<i<L，则图像中的总像素数为：

灰度级i出现的概率为P_i＝n_i/N，整幅图像的灰度级平均值为：

若阈值k可以将灰度级分为两组D₀＝{1-K}和D₁＝{K+1～L}，分別代表背景和目标，则存在：

D₀产生的概率：

D₁产生的概率：

D₀的均值：

D₀的均值：

其中，为阈值k时的灰度平均值，由此可得到整幅图像的平均值为μ＝ω₀μ₀+ω₁μ₁；

步骤502按照模式识别理论，两类间的类间方差可以用以下公式计算：

以类间方差σ²(k)作为衡量不同阈值的标准，通过计算σ²(k)最大值的过程就可以对阈值进行确定，因此，二值化最佳阈值T_h为：

T_h＝arg maxσ²(k)0≤k≤L

步骤501通过二值化最佳阈值T_h对目标区域进行二值化处理，获得故障的轮廓；并进一步基于二值图像统计故障目标区域故障所占图像像素的数目，根据所占数目的大小对故障程度进行识别。