CN117235583A - 一种gis断路器执行机构的监测方法及系统 - Google Patents

Abstract

本发明公开了一种GIS断路器执行机构的监测方法及系统，包括：实时采集包含监测的GIS断路器执行机构的第一图像数据及第一运行声纹信号；对所述第一图像数据进行边缘分割，获得第二图像数据，并对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号，通过预设的双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取及特征融合，获得所述GIS断路器执行机构对应的运行特征，根据所述双通道神经网络模型对当前所述GIS断路器执行机构的运行特征进行实时分析，获得所述GIS断路器执行机构当前的运行状态，提高监测结果的准确度。

Description

一种GIS断路器执行机构的监测方法及系统

技术领域

本发明涉及断路器监测技术领域，具体地，涉及一种GIS断路器执行机构的监测方法及系统。

背景技术

GIS断路器是保证电力系统正常运行的关键设备之一，如果在运行过程中所述GIS断路器发生故障又得不到及时处理，可能会给电网运行带来严重的危害，因此GIS断路器运行的可靠性直接关系到电力系统的安全运行，因此，增加GIS断路器故障检测手段的精准性，对发现潜在故障、降低电力系统运行成本、提高电力系统安全性和可靠性具有非常重要的意义。

现有技术中，对GIS断路器进行故障检测常采用机械特性状态监测，所述机械特性状态监测为通过在断路器转轴中安装编码器，通过编码器输出信号和时间条件判断断路器的速度、行程，从而判断断路器的机械状态，这种方式的弊端是编码器必须与断路器转轴实体连接，其对断路器的动作存在潜在的干扰，导致无法精准地收集所述断路器的监测数据，同时其通过编码器监测方式对安装调试而言难度较大，尤其对现场断路器已经运行的站难度更大，安装成本较高，同时，断路器所处的电场现场往往不止一台断路器，在多台断路器的条件下，被指定监测的断路器的信号采集易受周围其他断路器的信号影响，造成采集的监测数据准确度较低。

发明内容

为了解决上述技术问题，本发明公开了一种GIS断路器执行机构的监测方法及系统，用于提高监测结果的准确度。

为了实现上述目的，本发明公开了一种GIS断路器执行机构的监测方法，包括：

通过预设的图像采集装置，实时采集包含监测的GIS断路器执行机构的第一图像数据，并根据预设在所述GIS断路器执行机构上的声纹传感器实时采集所述GIS断路器执行机构的第一运行声纹信号；

计算所述第一图像数据的图像边缘，并根据所述第一图像边缘对所述第一图像数据进行分割，获得所述GIS断路器执行机构对应的第二图像数据，并通过预设的声纹处理方法对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号；

将所述第二图像数据及所述第二声纹信号发送至预训练好的双通道神经网络模型，通过所述双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征；

通过预设在所述双通道神经网络模型中的特征融合方式，融合所述外观特征及所述运行声纹特征，获得所述GIS断路器执行机构对应的运行特征；

根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，获得所述GIS断路器执行机构当前的运行状态。

本发明公开的一种GIS断路器执行机构的监测方法，从GIS断路器执行机构外部的运行外观及内部的运行原理对所述GIS断路器执行机构进行监测，提高监测的准确度，在收集所述GIS断路器执行机构外部的运行外观时，通过预设的图像采集装置实时采集所述GIS断路器执行机构的外观图像，根据所述外观图像不仅可以判断当前执行机构是否出现了外观的形变，还可以根据所述外观判断当前执行机构的状态是运行还是关闭，为后期监测提供具体可视化的依据，降低监测的难度，而在进行内部运行原理的检测时，因为不同运行状态对应的运行声纹信号存在明显的不同，因此，在所述执行机构上设置声纹传感器实时采集执行机构的第一运行声纹信号，以使根据所述第一运行声纹信号判断当前执行机构是否发生故障，以及故障情况，在进行故障判断时，首先对所述图像数据及所述声纹数据进行预处理，降低数据的处理量，接着通过预设的双通道神经网络模型分别对所述图像数据及所述声纹数据进行特征提取，获得外观特征及声纹特征，结合所述外观特征及声纹特征获得当前执行机构的运行特征，进而根据所述运行特征进行故障的判断，通过提高故障判断依据的特征的多面性，进而提高所述故障监测的全面性及准确性，在进行故障诊断时，通过所述双通道神经网络模型之前进行深度学习后获得不同设备状态分别对应的第一运行特征对当前执行机构的运行特征进行实时分析，获得当前执行机构的运行状态。

作为优选例子，在所述通过预设的图像采集装置，实时采集包含监测的GIS断路器执行机构的第一图像数据，包括：

通过预设的光源向所述GIS断路器执行机构进行补光，并通过所述图像采集装置实时采集获得包含所述GIS断路器执行机构的初始图像数据；

对所述初始图像数据进行高斯平滑处理，获得所述第一图像数据。

本发明基于所述GIS断路器执行机构常位于比较黑暗的地方，由此设置光源对所述GIS断路器执行机构进行补光，以便于所述图像采集装置清晰地采集到包含所述GIS断路器执行机构的图像数据，提高用于GIS断路器执行机构进行监测的数据的准确度，接着对所述图像数据进行高斯平滑处理，以使得去除图像中的噪声，剔除对机构监测的影响，提高监测的准确度。

作为优选例子，在所述根据预设在所述GIS断路器执行机构上的声纹传感器实时采集所述GIS断路器执行机构的第一运行声纹信号之前，包括：

根据所述GIS断路器执行机构与其对应的断路器本体的连接结构，控制所述声纹传感器分别安装在所述GIS断路器执行机构中、所述GIS断路器执行机构与GIS断路器的连接处及所述GIS断路器的本体中。

本发明将所述声纹传感器分别安装在所述GIS断路器执行机构中、所述GIS断路器执行机构与GIS断路器的连接处及所述GIS断路器的本体中，以使获取所述GIS断路器执行机构在运行过程中的整个运行的声纹信号，便于在故障发生时，根据所述声纹信号判断故障发生的具体位置，提高监测的准确性。

作为优选例子，在所述计算所述第一图像数据的图像边缘，并根据所述第一图像边缘对所述第一图像数据进行分割，获得所述GIS断路器执行机构对应的第二图像数据，并通过预设的声纹处理方法对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号，包括：

通过预设的边缘检测算法对所述第一图像数据进行边缘检测，获得所述第一图像数据中所述GIS断路器执行机构与背景之间的图像边缘；

根据所述图像边缘对所述第一图像数据进行边缘分割，获得所述GIS断路器执行机构对应的第二图像数据；

通过预设的MFCC特征向量法对所述第一运行声纹信号进行加权降维处理，获得所述第二声纹信号。

本发明通过预设的边缘检测算法对所述获得的第一图像数据进行边缘检测，以便于完整的获得所述GIS断路器执行机构的第二图像数据，以使根据所述第二图像数据专注进行GIS断路器执行机构的状态监测，降低后期数据的处理量，提高监测的效率，同时利用预设的MFCC特征向量法对所述第一声纹信号进行加权优化，提高所述第一声纹信号的准确度，进而提高状态监测的准确度。

作为优选例子，在所述通过所述双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征，包括：

根据预设在所述双通道神经网络模型中的空间通道对所述第二图像数据进行第一卷积处理，获得所述第二图像数据对应的外观特征图；

根据预设在所述双通道神经网络模型中的聚类算法，对所述第二声纹信号进行信号的叠加，获得叠加的声纹信号，并将所述叠加的声纹信号输入到所述双通道神经网络模型中的时间通道；

根据预设在所述双通道神经网络模型中的时间通道对所述叠加的声纹信号进行第二卷积处理，获得所述第二声纹信号对应的运行声纹特征图；

通过预设在所述双通道神经网络模型中全连接层分别对所述外观特征图及所述运行声纹特征图进行特征向量的映射，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征。

本发明通过预设的双通道神经网络模型中的时间通道和空间通道中的卷积层分别对所述第二图像数据和所述第二声纹信号进行特征数据的提取，以使结合执行机构当前的外观特征及内部正在运行时产生的声纹信号进行监测，提高监测的准确度，同时本发明对所述图像数据及声纹数据进行卷积处理，能不断地降低生成的特征图的大小、参数，使得特征图计算起来相对简单，减少识别的时间，提高识别的效率。

作为优选例子，在所述通过预设在所述双通道神经网络模型中的特征融合方式，融合所述外观特征及所述运行声纹特征，获得所述GIS断路器执行机构对应的运行特征，包括：

根据预设在所述双通道神经网络模型中的自注意力机制，自适应的为所述外观特征及所述运行声纹特征匹配不同的权重；

根据所述权重对所述外观特征及所述运行声纹特征进行加权，并对加权后的外观特征及运行声纹特征进行线性组合，获得所述运行特征。

本发明采用自注意力机制，自动地根据GIS断路器执行机构当前的运行状态分配不同的权重，如当执行机构的外表发生严重形变时，则此时不用根据内部的运行声纹信号进行结合判断，即可获知当前执行机构的故障情况，则此时外观特征将会分配较高的权重，通过所述自注意力机制提高监测的效率。

作为优选例子，在所述根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，包括：

通过所述双通道神经网络模型对实施采集的所述GIS断路器执行机构对应的图像数据及运行声纹进行深度学习，并对所述GIS断路器执行机构对应的不同的设备状态进行标记，获得所述GIS断路器执行机构不同设备状态分别对应的第一运行特征；

根据预设在所述分类层中的矢量量化算法分别计算所述运行特征与每一个第一运行特征的相似值；

选取所述相似值最大时对应的第一运行特征，根据所述第一运行特征对应的设备状态确定所述GIS断路器执行机构当前的运行状态。

本发明通过设置在所述模型中的分类层及学习获得的不同设备状态对应的特征值，对获得的运行特征进行识别，分别获得所述运行特征与不同的设备状态对应的第一运行特征的相似值，根据所述相似值能直观准确地获得设备状态的监测结果。

另一方面，本发明还公开了一种GIS断路器执行机构的监测系统，所述系统包括信息采集模块、预处理模块、特征提取模块、特征融合模块及状态识别模块；

所述信息采集模块用于通过预设的图像采集装置，实时采集包含监测的GIS断路器执行机构的第一图像数据，并根据预设在所述GIS断路器执行机构上的声纹传感器实时采集所述GIS断路器执行机构的第一运行声纹信号；

所述预处理模块用于计算所述第一图像数据的图像边缘，并根据所述第一图像边缘对所述第一图像数据进行分割，获得所述GIS断路器执行机构对应的第二图像数据，并通过预设的声纹处理方法对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号；

所述特征提取模块用于将所述第二图像数据及所述第二声纹信号发送至预训练好的双通道神经网络模型，通过所述双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征；

所述特征融合模块用于通过预设在所述双通道神经网络模型中的特征融合方式，融合所述外观特征及所述运行声纹特征，获得所述GIS断路器执行机构对应的运行特征；

所述状态识别模块用于根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，获得所述GIS断路器执行机构当前的运行状态。

本发明公开的一种GIS断路器执行机构的监测系统，从GIS断路器执行机构外部的运行外观及内部的运行原理对所述GIS断路器执行机构进行监测，提高监测的准确度，在收集所述GIS断路器执行机构外部的运行外观时，通过预设的图像采集装置实时采集所述GIS断路器执行机构的外观图像，根据所述外观图像不仅可以判断当前执行机构是否出现了外观的形变，还可以根据所述外观判断当前执行机构的状态是运行还是关闭，为后期监测提供具体可视化的依据，降低监测的难度，而在进行内部运行原理的检测时，因为不同运行状态对应的运行声纹信号存在明显的不同，因此，在所述执行机构上设置声纹传感器实时采集执行机构的第一运行声纹信号，以使根据所述第一运行声纹信号判断当前执行机构是否发生故障，以及故障情况，在进行故障判断时，首先对所述图像数据及所述声纹数据进行预处理，降低数据的处理量，接着通过预设的双通道神经网络模型分别对所述图像数据及所述声纹数据进行特征提取，获得外观特征及声纹特征，结合所述外观特征及声纹特征获得当前执行机构的运行特征，进而根据所述运行特征进行故障的判断，通过提高故障判断依据的特征的多面性，进而提高所述故障监测的全面性及准确性，在进行故障诊断时，通过所述双通道神经网络模型之前进行深度学习后获得不同设备状态分别对应的第一运行特征对当前执行机构的运行特征进行实时分析，获得当前执行机构的运行状态。

作为优选例子，所述信息采集模块包括补光单元及处理单元；

所述补光单元用于通过预设的光源向所述GIS断路器执行机构进行补光，并通过所述图像采集装置实时采集获得包含所述GIS断路器执行机构的初始图像数据；

所述处理单元用于对所述初始图像数据进行高斯平滑处理，获得所述第一图像数据。

本发明基于所述GIS断路器执行机构常位于比较黑暗的地方，由此设置光源对所述GIS断路器执行机构进行补光，以便于所述图像采集装置清晰地采集到包含所述GIS断路器执行机构的图像数据，提高用于GIS断路器执行机构进行监测的数据的准确度，接着对所述图像数据进行高斯平滑处理，以使得去除图像中的噪声，剔除对机构监测的影响，提高监测的准确度。

作为优选例子，所述预处理模块包括图像处理单元及声纹处理单元；

所述图像处理单元用于通过预设的边缘检测算法对所述第一图像数据进行边缘检测，获得所述第一图像数据中所述GIS断路器执行机构与背景之间的图像边缘；根据所述图像边缘对所述第一图像数据进行边缘分割，获得所述GIS断路器执行机构对应的第二图像数据；

所述声纹处理单元用于通过预设的MFCC特征向量法对所述第一运行声纹信号进行加权降维处理，获得所述第二声纹信号。

本发明通过预设的边缘检测算法对所述获得的第一图像数据进行边缘检测，以便于完整的获得所述GIS断路器执行机构的第二图像数据，以使根据所述第二图像数据专注进行GIS断路器执行机构的状态监测，降低后期数据的处理量，提高监测的效率，同时利用预设的MFCC特征向量法对所述第一声纹信号进行加权优化，提高所述第一声纹信号的准确度，进而提高状态监测的准确度。

附图说明

图1：为本发明实施例公开的一种GIS断路器执行机构的监测方法的流程示意图；

图2：为本发明实施例公开的一种GIS断路器执行机构的监测系统的结构示意图；

图3：为本发明又一实施例公开的一种GIS断路器执行机构的监测方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例公开了一种GIS断路器执行机构的监测方法，所述监测方法的具体实施流程请参照图1，主要包括步骤101至步骤105，所述步骤主要包括：

步骤101：通过预设的图像采集装置，实时采集包含监测的GIS断路器执行机构的第一图像数据，并根据预设在所述GIS断路器执行机构上的声纹传感器实时采集所述GIS断路器执行机构的第一运行声纹信号。

在本实施例中，该步骤主要包括：在进行所述声纹信号采集之前，首先根据所述GIS断路器执行机构与其对应的断路器本体的连接结构，控制所述声纹传感器分别安装在所述GIS断路器执行机构中、所述GIS断路器执行机构与GIS断路器的连接处及所述GIS断路器的本体中。

其次通过预设的光源向所述GIS断路器执行机构进行补光，并通过所述图像采集装置实时采集获得包含所述GIS断路器执行机构的初始图像数据；对所述初始图像数据进行高斯平滑处理，获得所述第一图像数据。

本实施例中，该步骤基于所述GIS断路器执行机构常位于比较黑暗的地方，由此设置光源对所述GIS断路器执行机构进行补光，以便于所述图像采集装置清晰地采集到包含所述GIS断路器执行机构的图像数据，提高用于GIS断路器执行机构进行监测的数据的准确度，接着对所述图像数据进行高斯平滑处理，以使得去除图像中的噪声，剔除对机构监测的影响，提高监测的准确度。

步骤102：计算所述第一图像数据的图像边缘，并根据所述第一图像边缘对所述第一图像数据进行分割，获得所述GIS断路器执行机构对应的第二图像数据，并通过预设的声纹处理方法对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号。

在本实施例中，该步骤主要包括：通过预设的边缘检测算法对所述第一图像数据进行边缘检测，获得所述第一图像数据中所述GIS断路器执行机构与背景之间的图像边缘；根据所述图像边缘对所述第一图像数据进行边缘分割，获得所述GIS断路器执行机构对应的第二图像数据；通过预设的MFCC特征向量法对所述第一声纹信号进行加权降维处理，获得所述第二声纹信号。

本实施例中，该步骤通过预设的边缘检测算法对所述获得的第一图像数据进行边缘检测，以便于完整的获得所述GIS断路器执行机构的第二图像数据，以使根据所述第二图像数据专注进行GIS断路器执行机构的状态监测，降低后期数据的处理量，提高监测的效率，同时利用预设的MFCC特征向量法对所述第一声纹信号进行加权优化，提高所述第一声纹信号的准确度，进而提高状态监测的准确度。

步骤103：将所述第二图像数据及所述第二声纹信号发送至预训练好的双通道神经网络模型，通过所述双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征。

在本实施例中，该步骤主要包括：根据预设在所述双通道神经网络模型中的空间通道对所述第二图像数据进行第一卷积处理，获得所述第二图像数据对应的外观特征图；根据预设在所述双通道神经网络模型中的聚类算法，对所述第二声纹信号进行信号的叠加，获得叠加的声纹信号，并将所述叠加的声纹信号输入到所述双通道神经网络模型中的时间通道；根据预设在所述双通道神经网络模型中的时间通道对所述叠加的声纹信号进行第二卷积处理，获得所述第二声纹信号对应的运行声纹特征图；通过预设在所述双通道神经网络模型中全连接层分别对所述外观特征图及所述运行声纹特征图进行特征向量的映射，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征。

本实施例中，该步骤通过预设的双通道神经网络模型中的时间通道和空间通道中的卷积层分别对所述第二图像数据和所述第二声纹信号进行特征数据的提取，以使结合执行机构当前的外观特征及内部正在运行时产生的声纹信号进行监测，提高监测的准确度，同时本发明对所述图像数据及声纹数据进行卷积处理，能不断地降低生成的特征图的大小、参数，使得特征图计算起来相对简单，减少识别的时间，提高识别的效率。

步骤104：通过预设在所述双通道神经网络模型中的特征融合方式，融合所述外观特征及所述运行声纹特征，获得所述GIS断路器执行机构对应的运行特征。

在本实施例中，该步骤主要包括：根据预设在所述双通道神经网络模型中的自注意力机制，自适应地为所述外观特征及所述运行声纹特征匹配不同的权重；根据所述权重对所述外观特征及所述运行声纹特征进行加权，并对加权后的外观特征及运行声纹特征进行线性组合，获得所述运行特征。

本实施例中，该步骤采用自注意力机制，自动地根据GIS断路器执行机构当前的运行状态分配不同的权重，如当执行机构的外表发生严重形变时，则此时不用根据内部的运行声纹信号进行结合判断，即可获知当前执行机构的故障情况，则此时外观特征将会分配较高的权重，通过所述自注意力机制提高监测的效率。

步骤105：根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，获得所述GIS断路器执行机构当前的运行状态。

在本实施例中，该步骤主要包括：通过所述双通道神经网络模型对实施采集的所述GIS断路器执行机构对应的图像数据及运行声纹进行深度学习，并对所述GIS断路器执行机构对应的不同的设备状态进行标记，获得所述GIS断路器执行机构不同设备状态分别对应的第一运行特征；根据预设在所述分类层中的矢量量化算法分别计算所述运行特征与每一个第一运行特征的相似值；选取所述相似值最大时对应的第一运行特征，根据所述第一运行特征对应的设备状态确定所述GIS断路器执行机构当前的运行状态。

本实施例中，该步骤通过设置在所述模型中的分类层及学习获得的不同设备状态对应的特征值，对获得的运行特征进行识别，分别获得所述运行特征与不同的设备状态对应的第一运行特征的相似值，根据所述相似值能直观准确地获得设备状态的监测结果。

另一方面，本发明实施例还公开了一种GIS断路器执行机构的监测系统，所述监测系统的具体结构组成请参照图2，所述系统包括信息采集模块201、预处理模块202、特征提取模块203、特征融合模块204及状态识别模块205。

所述信息采集模块201用于通过预设的图像采集装置，实时采集包含监测的GIS断路器执行机构的第一图像数据，并根据预设在所述GIS断路器执行机构上的声纹传感器实时采集所述GIS断路器执行机构的第一运行声纹信号。

所述预处理模块202用于计算所述第一图像数据的图像边缘，并根据所述第一图像边缘对所述第一图像数据进行分割，获得所述GIS断路器执行机构对应的第二图像数据，并通过预设的声纹处理方法对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号。

所述特征提取模块203用于将所述第二图像数据及所述第二声纹信号发送至预训练好的双通道神经网络模型，通过所述双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征。

所述特征融合模块204用于通过预设在所述双通道神经网络模型中的特征融合方式，融合所述外观特征及所述运行声纹特征，获得所述GIS断路器执行机构对应的运行特征。

所述状态识别模块205用于根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，获得所述GIS断路器执行机构当前的运行状态。

在本实施例中，所述信息采集模块201包括补光单元及处理单元。

所述补光单元用于通过预设的光源向所述GIS断路器执行机构进行补光，并通过所述图像采集装置实时采集获得包含所述GIS断路器执行机构的初始图像数据。

所述处理单元用于对所述初始图像数据进行高斯平滑处理，获得所述第一图像数据。

在本实施例中，所述预处理模块202包括图像处理单元及声纹处理单元。

所述图像处理单元用于通过预设的边缘检测算法对所述第一图像数据进行边缘检测，获得所述第一图像数据中所述GIS断路器执行机构与背景之间的图像边缘；根据所述图像边缘对所述第一图像数据进行边缘分割，获得所述GIS断路器执行机构对应的第二图像数据。

所述声纹处理单元用于通过预设的MFCC特征向量法对所述第一运行声纹信号进行加权降维处理，获得所述第二声纹信号。

在本实施例中，所述特征提取模块203包括卷积单元及映射单元。

所述卷积单元用于根据预设在所述双通道神经网络模型中的空间通道对所述第二图像数据进行第一卷积处理，获得所述第二图像数据对应的外观特征图；

根据预设在所述双通道神经网络模型中的聚类算法，对所述第二声纹信号进行信号的叠加，获得叠加的声纹信号，并将所述叠加的声纹信号输入到所述双通道神经网络模型中的时间通道；根据预设在所述双通道神经网络模型中的时间通道对所述叠加的声纹信号进行第二卷积处理，获得所述第二声纹信号对应的运行声纹特征图。

所述映射单元用于通过预设在所述双通道神经网络模型中全连接层分别对所述外观特征图及所述运行声纹特征图进行特征向量的映射，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征。

在本实施例中，所述特征融合模块204包括自适应单元及融合单元。

所述自适应单元用于根据预设在所述双通道神经网络模型中的自注意力机制，自适应地为所述外观特征及所述运行声纹特征匹配不同的权重。

所述融合单元用于根据所述权重对所述外观特征及所述运行声纹特征进行加权，并对加权后的外观特征及运行声纹特征进行线性组合，获得所述运行特征。

实施例二

本发明实施例公开了另一种GIS断路器执行机构的监测方法，所述监测方法的具体实施流程请参照图3，主要包括步骤301至步骤305，所述步骤为：

步骤301：在待监测的GIS断路器执行机构上安装声纹传感器，并通过所述声纹传感器实时采集所述GIS断路器执行机构运行过程中的第一运行声纹信号，同时采集获得包含所述GIS断路器执行机构在内的第一图像数据。

在本实施例中，该步骤主要为：通过预设的图像采集装置实时采集获得包含所述GIS断路器执行机构的初始图像数据，并对所述初始图像数据进行高斯平滑处理，获得第一图像数据，然后通过预设在所述GIS断路器执行机构上的声纹传感器收集所述GIS断路器执行机构运行过程中的第一运行声纹信号。

具体的，可在所述GIS断路器执行机构的周围设置三维图像采集装置用于采集包含GIS断路器执行机构的外观的第一图像数据，进一步的，为了避免GIS断路器执行机构所在的环境对所述图像的采集造成影响，可设置多个光源为所述GIS断路器执行机构进行补光，以使所述三维图像采集装置可采集到清晰的图像数据，进一步的，对获得的清晰的图像数据进行高斯平滑处理，去除所述图像数据中的噪声，获得包含所述GIS断路器执行机构的第一图像数据。

在采集所述图像数据的同时，为了提高后续监测的准确性，本实施例还通过采集所述GIS断路器执行机构运行过程中的声纹信号以使判断其是否运行征程，在采集所述声纹信号时，为了保证采集的声纹信号的准确性，在所述GIS断路器执行机构中、所述GIS断路器执行机构与GIS断路器的连接处及所述GIS断路器的本体中分别单独设置一个声纹传感器，并将三个声纹传感器收集的声纹信号根据时间顺序聚合成一条声纹信号，最终确定所述GIS断路器执行机构运行过程中产生的第一运行声纹信号。

步骤302：对所述第一图像数据进行边缘切割，获得所述GIS断路器执行机构对应的第二图像数据，并对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号。

在本实施例中，该步骤主要为：通过预设的边缘检测算法对所述第一图像数据进行边缘检测，将所述第一图像数据中的背景去除，获得只包括所述GIS断路器执行机构在内的第二图像数据，同时利用MFCC特征向量法对所述第一声纹信号进行加权降维处理，获得所述第二声纹信号。

具体的，在本实施例中，利用预设的边缘检测技术检测所述图像数据中的图像边缘，所述图像边缘为所述GIS断路器执行机构与背景之间的边界，接着根据所述获得的图像边缘对所述图像数据进行分割，将所述GIS断路器执行机构与所述背景分离，获得所述GIS断路器执行机构对应的第一极片图像，用于后续的设备监测，同时在做所述图像切割时，通过预设的MFCC特征向量对所述第一声纹信号进行加权降维处理，去除所述第一声纹信号中的杂声，同时降低所述第一声纹信号的维度，降低数据的处理量，提高后续设备状态识别的效率。

步骤303：通过预设的双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征。

在本实施例中，该步骤主要为：首先是通过预设在所述双通道神经网络模型中的聚类算法，对所述第二声纹信号进行信号的叠加，获得叠加的声纹信号，接着根据预设在所述双通道神经网络模型中的空间通道及时间通道分别对所述第二图像数据及叠加的声纹信号进行卷积处理，获得所述第二图像数据对应的外观特征图，及所述第二声纹信号对应的运行声纹特征图，再对所述外观特征图及所述运行声纹特征图进行特征向量的映射，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征。

具体的，在本实施例中，为了提高监测的准确性，构建了一种双通道神经网络模型，用于提取所述图像数据对应的外观特征及所述声纹信号对应的运行声纹特征，具体的，在神经网络模型中添加两个通道，一个通道用于输入所述第二图像数据，一个通道用于输入所述第二声纹信号，两个通道均由卷积、池化、激活函数以及归一化层循环堆叠而成，具体的，在所述两个通道的卷积层中通过设置卷积核的不同个数和大小实现对输入数据的差异性特征和上下文信息的提取， 具体的，所述特征提取的公式为：

其中，代表输入的向量，/>代表输出的特征向量，l代表输入样本的编号，F ,c分别代表计算过程的权重和偏置向量，实现特征的非线性变换提取，g(·）表示卷积计算的激活函数；

其中，所述激活函数可以有效地抑制梯度消失的问题，加快模型寻找全局最优解的过程，计算过程如下式所示：

其中，代表输入向量，/>表示激活后的特征向量，l代表输入样本的编号，/>（/>）代表激活操作，max(·）代表取最大值函数。

进一步的，在所述通道中设置池化层的目的是用于降低特征向量的维度，从而降低卷积神经网络中需要计算的数据量，提升神经网络训练的效率。

最后经过通道中预设的归一化层，将隐含层中的输入变换到标准的正态分 布，这样人为地改变特征的分布，抑制了梯度消失和训练过程中的过拟合 问题。交替的多个卷积池化层实现对输入信号非线性特征的层级式提取。

步骤304：通过所述双通道神经网络模型对所述外观特征及运行声纹特征进行权重匹配，并对分配权重的外观特征及运行声纹特征进行特征融合，获得所述GIS断路器执行机构对应的运行特征。

在本实施例中，该步骤主要为：根据预设在所述双通道神经网络模型中的自注意力机制，自适应地为所述外观特征及所述运行声纹特征匹配不同的权重；根据所述权重对所述外观特征及所述运行声纹特征进行加权，并对加权后的外观特征及运行声纹特征进行线性组合，获得所述运行特征。

具体的，在本实施例中，所述双通道神经网络模型最后通过全连接层来进行权重的分配，由于在GIS断路器执行机构运行的过程中，所述外表的形变及内部的运行错误都有可能造成执行机构的故障，而在不同的情况下，根据所述形变的严重程度或所述运行信号严重的失真情况都会对所述监测造成不同的影响，由此，本实施例在所述全连接层设置自注意力机制，根据所述执行机构当前的实际运行情况进行权重的自适应匹配，如当执行机构外观发生严重形变时，则此时会对外观特征赋予较高的权重，具体的，当每一个通道中用于特征提取的卷积块输出的特征为s1 ,…,si ,…,sn，其中为第i个卷积块的特征输出，(k)为输出特征si的第k个数值，n为特征数量，由卷积块的个数决定，则所述通道输出的特征为：

将获得的特征输出，然后通过预设的自注意力机制获得该特征的权重/>，并将所述权重映射到(0，1)数值空间，各通道特征的权重和为1，计算过程如下式所示：

根据上述公式，对各个特征进行加权，则所述加权的表述公式为：

然后根据加权后的特征进行融合，则融合后获得的特征为：

其中，所述n为特征数量，由通道中的卷积块决定，为第i个卷积块的特征输出，所述/>为融合后获得的运行特征，/>为第i个卷积块所提取特征的权重。

步骤305：根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，获得所述GIS断路器执行机构当前的运行状态。

在本实施例中，该步骤主要为：通过所述双通道神经网络模型对实施采集的所述GIS断路器执行机构对应的图像数据及运行声纹进行深度学习，并对所述GIS断路器执行机构对应的不同的设备状态进行标记，获得所述GIS断路器执行机构不同设备状态分别对应的第一运行特征；根据预设在所述分类层中的矢量量化算法分别计算所述运行特征与每一个第一运行特征的相似值；选取所述相似值最大时对应的第一运行特征，根据所述第一运行特征对应的设备状态确定所述GIS断路器执行机构当前的运行状态。

具体的，在本实施例中，在分类层将加权之后融合的特征进行展平操作，即将所有加权特征矢量首尾连接组成一维向量，再对融合之后的特征降维，接着根据降维后的特征向量，通过预设的矢量量化算法计算对所述特征向量继续进行识别，判断当前GIS断路器执行机构处于何种运行状态。

具体的，所述矢量量化算法通过神经网络训练得到，所述训练的过程包括：选取训练集，对所述训练集进行降维优化，得到降维优化后的MFCC特征向量、方差贡献率和累计方差贡献率，并对所述训练集进行标定，以训练集的降维优化后MFCC特征向量（v，v1，…，vh）、方差贡献率和累计方差贡献率为输入，以对应的状态分析结果为输出，训练机器学习模型，得到训练完成后的矢量量化算法，将当前GIS断路器执行机构对应的运行特征进行分析得到的降维优化后目标MFCC特征向量、方差贡献率和累计方差贡献率输入到矢量量化算法中，最终得到当前GIS断路器执行机构的运行状态。

本发明实施例公开的GIS断路器执行机构的监测方法及系统，从GIS断路器执行机构外部的运行外观及内部的运行原理对所述GIS断路器执行机构进行监测，提高监测的准确度，在收集所述GIS断路器执行机构外部的运行外观时，通过预设的图像采集装置实时采集所述GIS断路器执行机构的外观图像，根据所述外观图像不仅可以判断当前执行机构是否出现了外观的形变，还可以根据所述外观判断当前执行机构的状态是运行还是关闭，为后期监测提供具体可视化的依据，降低监测的难度，而在进行内部运行原理的检测时，因为不同运行状态对应的运行声纹信号存在明显的不同，因此，在所述执行机构上设置声纹传感器实时采集执行机构的第一运行声纹信号，以使根据所述第一运行声纹信号判断当前执行机构是否发生故障，以及故障情况，在进行故障判断时，首先对所述图像数据及所述声纹数据进行预处理，降低数据的处理量，接着通过预设的双通道神经网络模型分别对所述图像数据及所述声纹数据进行特征提取，获得外观特征及声纹特征，结合所述外观特征及声纹特征获得当前执行机构的运行特征，进而根据所述运行特征进行故障的判断，通过提高故障判断依据的特征的多面性，进而提高所述故障监测的全面性及准确性，在进行故障诊断时，通过所述双通道神经网络模型之前进行深度学习后获得不同设备状态分别对应的第一运行特征对当前执行机构的运行特征进行实时分析，获得当前执行机构的运行状态。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种GIS断路器执行机构的监测方法，其特征在于，包括：

通过预设的图像采集装置，实时采集包含监测的GIS断路器执行机构的第一图像数据，并根据预设在所述GIS断路器执行机构上的声纹传感器实时采集所述GIS断路器执行机构的第一运行声纹信号；

计算所述第一图像数据的图像边缘，并根据所述第一图像边缘对所述第一图像数据进行分割，获得所述GIS断路器执行机构对应的第二图像数据，并通过预设的声纹处理方法对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号；

将所述第二图像数据及所述第二声纹信号发送至预训练好的双通道神经网络模型，通过所述双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征；

通过预设在所述双通道神经网络模型中的特征融合方式，融合所述外观特征及所述运行声纹特征，获得所述GIS断路器执行机构对应的运行特征；

根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，获得所述GIS断路器执行机构当前的运行状态。

2.如权利要求1所述的一种GIS断路器执行机构的监测方法，其特征在于，所述通过预设的图像采集装置，实时采集包含监测的GIS断路器执行机构的第一图像数据，包括：

通过预设的光源向所述GIS断路器执行机构进行补光，并通过所述图像采集装置实时采集获得包含所述GIS断路器执行机构的初始图像数据；

对所述初始图像数据进行高斯平滑处理，获得所述第一图像数据。

3.如权利要求1所述的一种GIS断路器执行机构的监测方法，其特征在于，所述根据预设在所述GIS断路器执行机构上的声纹传感器实时采集所述GIS断路器执行机构的第一运行声纹信号之前，包括：

根据所述GIS断路器执行机构与其对应的断路器本体的连接结构，控制所述声纹传感器分别安装在所述GIS断路器执行机构中、所述GIS断路器执行机构与GIS断路器的连接处及所述GIS断路器的本体中。

4.如权利要求1所述的一种GIS断路器执行机构的监测方法，其特征在于，所述计算所述第一图像数据的图像边缘，并根据所述第一图像边缘对所述第一图像数据进行分割，获得所述GIS断路器执行机构对应的第二图像数据，并通过预设的声纹处理方法对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号，包括：

通过预设的边缘检测算法对所述第一图像数据进行边缘检测，获得所述第一图像数据中所述GIS断路器执行机构与背景之间的图像边缘；

根据所述图像边缘对所述第一图像数据进行边缘分割，获得所述GIS断路器执行机构对应的第二图像数据；

通过预设的MFCC特征向量对所述第一运行声纹信号进行加权降维处理，获得所述第二声纹信号。

5.如权利要求1所述的一种GIS断路器执行机构的监测方法，其特征在于，所述通过所述双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征，包括：

根据预设在所述双通道神经网络模型中的空间通道对所述第二图像数据进行第一卷积处理，获得所述第二图像数据对应的外观特征图；

根据预设在所述双通道神经网络模型中的聚类算法，对所述第二声纹信号进行信号的叠加，获得叠加的声纹信号，并将所述叠加的声纹信号输入到所述双通道神经网络模型中的时间通道；

根据预设在所述双通道神经网络模型中的时间通道对所述叠加的声纹信号进行第二卷积处理，获得所述第二声纹信号对应的运行声纹特征图；

通过预设在所述双通道神经网络模型中全连接层分别对所述外观特征图及所述运行声纹特征图进行特征向量的映射，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征。

6.如权利要求1所述的一种GIS断路器执行机构的监测方法，其特征在于，所述通过预设在所述双通道神经网络模型中的特征融合方式，融合所述外观特征及所述运行声纹特征，获得所述GIS断路器执行机构对应的运行特征，包括：

根据预设在所述双通道神经网络模型中的自注意力机制，自适应的为所述外观特征及所述运行声纹特征匹配不同的权重；

根据所述权重对所述外观特征及所述运行声纹特征进行加权，并对加权后的外观特征及运行声纹特征进行线性组合，获得所述运行特征。

7.如权利要求1所述的一种GIS断路器执行机构的监测方法，其特征在于，所述根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，包括：

通过所述双通道神经网络模型对实施采集的所述GIS断路器执行机构对应的图像数据及运行声纹进行深度学习，并对所述GIS断路器执行机构对应的不同的设备状态进行标记，获得所述GIS断路器执行机构不同设备状态分别对应的第一运行特征；

根据预设在所述分类层中的矢量量化算法分别计算所述运行特征与每一个第一运行特征的相似值；

选取所述相似值最大时对应的第一运行特征，根据所述第一运行特征对应的设备状态确定所述GIS断路器执行机构当前的运行状态。

8.一种GIS断路器执行机构的监测系统，其特征在于，所述系统包括信息采集模块、预处理模块、特征提取模块、特征融合模块及状态识别模块；

所述信息采集模块用于通过预设的图像采集装置，实时采集包含监测的GIS断路器执行机构的第一图像数据，并根据预设在所述GIS断路器执行机构上的声纹传感器实时采集所述GIS断路器执行机构的第一运行声纹信号；

所述预处理模块用于计算所述第一图像数据的图像边缘，并根据所述第一图像边缘对所述第一图像数据进行分割，获得所述GIS断路器执行机构对应的第二图像数据，并通过预设的声纹处理方法对所述第一运行声纹信号进行预处理，获得预处理后的第二声纹信号；

所述特征提取模块用于将所述第二图像数据及所述第二声纹信号发送至预训练好的双通道神经网络模型，通过所述双通道神经网络模型对所述第二图像数据及所述第二声纹信号分别进行特征提取，获得所述第二图像数据对应的外观特征及所述第二声纹信号对应的运行声纹特征；

所述特征融合模块用于通过预设在所述双通道神经网络模型中的特征融合方式，融合所述外观特征及所述运行声纹特征，获得所述GIS断路器执行机构对应的运行特征；

所述状态识别模块用于根据预设在所述双通道神经网络模型中的分类层及所述双通道神经网络模型进行预学习后获得的不同设备状态分别对应的第一运行特征，对当前所述GIS断路器执行机构的运行特征进行实时分析，获得所述GIS断路器执行机构当前的运行状态。

9.如权利要求8所述的一种GIS断路器执行机构的监测系统，其特征在于，所述信息采集模块包括补光单元及处理单元；

所述补光单元用于通过预设的光源向所述GIS断路器执行机构进行补光，并通过所述图像采集装置实时采集获得包含所述GIS断路器执行机构的初始图像数据；

所述处理单元用于对所述初始图像数据进行高斯平滑处理，获得所述第一图像数据。

10.如权利要求8所述的一种GIS断路器执行机构的监测系统，其特征在于，所述预处理模块包括图像处理单元及声纹处理单元；

所述图像处理单元用于通过预设的边缘检测算法对所述第一图像数据进行边缘检测，获得所述第一图像数据中所述GIS断路器执行机构与背景之间的图像边缘；根据所述图像边缘对所述第一图像数据进行边缘分割，获得所述GIS断路器执行机构对应的第二图像数据；

所述声纹处理单元用于通过预设的MFCC特征向量法对所述第一运行声纹信号进行加权降维处理，获得所述第二声纹信号。