CN117739289B - 基于声图融合的泄漏检测方法及系统 - Google Patents

Abstract

本发明涉及泄漏检测技术领域，具体为基于声图融合的泄漏检测方法及系统，获取待测位置的声音和图像并预处理，得到声波残差数据和图像残差数据；利用得到的声波残差数据和图像残差数据，确定被测位置的异常状态；在异常状态下，提取图像残差数据中不同尺度的特征，经融合并转换为一维特征特征图P ₁，提取图像残差数据频谱图中的图像频率和幅度信息，经维度压缩得到一维特征图P ₂，声波残差数据经特征变换得到特征图P ₃，特征图P ₁，P ₂和P ₃经相加融合得到泄漏检测结果。

Description

基于声图融合的泄漏检测方法及系统

技术领域

本发明涉及泄漏检测技术领域，具体为基于声图融合的泄漏检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

泄漏是设备、装置中经常出现的问题，为了应对这一问题，目前会通过巡检的方式，通过人工肉眼识别泄漏产物的情况从而确定设备的密封性，或是在一些检测算法支持的情况下，进行机器人辅助监测，从而尽早发现泄漏的情况及时处置。由于人工巡检的效率低下，目前已经能够利用机器人加载相对应的算法实现泄漏检测，但这类算法一般通过对图像进行一定的增强处理，采用模型提取图像中的高、低维特征（纹理、颜色、语义信息等），利用这些特征对图像进行状态预测从而实现泄漏检测，虽然能够代替人工巡检，但仍存在一些缺陷。

1.泄漏属于设备密封性下降的小概率事件，在泄漏初期，液体的滴漏速度较慢，并不是每一帧图像都含有异常特征，导致含有间歇性滴漏液体的图像难以被捕捉到，因此，所获取图像大部分时间都是无异常状态的图像，而这不利于检测算法准确性的提升。

2.仅基于图像这单一模态的数据进行泄漏检测，准确性过低。如一些惰性气体的泄漏并不会像蒸汽那样有明显的烟雾存在，只是会伴随着一定的声响，因此，这种泄漏特征并不会在图像上有明显的信号，仅基于单一模态的数据进行检测时，在某些气体泄漏时并没有很好的效果。

3.基于模型推理方法的泄漏检测非常考验检测设备的计算能力，泄漏事件属于小概率事件，会导致检测设备的GPU、CPU等部件长期处于工作状态，增加了功耗及发热量，降低了可靠性。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供基于声图融合的泄漏检测方法及系统，利用待测部位的声信号和图像信号，基于时间维度处理得到残差信号，从残差信号中获取异常状态；采用快速傅立叶变换提取图像残差信号的频域信息，通过与声音的残差信号进行特征融合，提高泄漏检测的识别准确性。

本发明的第一个方面提供基于声图融合的泄漏检测方法，包括以下步骤：

获取待测位置的声音和图像并预处理，得到声波残差数据和图像残差数据；

利用得到的声波残差数据和图像残差数据，确定异常状态；

在异常状态下，提取图像残差数据中不同尺度的特征，经融合并转换为一维特征特征图P ₁，提取图像残差数据频谱图中的图像频率和幅度信息，经维度压缩得到一维特征图P ₂，声波残差数据经特征变换得到特征图P ₃，特征图P ₁，P ₂和P ₃经相加融合得到泄漏检测结果。

进一步的，预处理包括过滤和匹配；

过滤，具体为：分别对待测位置的声音和图像进行残差处理，得到相邻时间段图像信号和声音信号的残差值；

匹配，具体为：将同一时刻的声音残差数据与图像残差数据成组匹配，为匹配后的每一组数据赋值为正常组，液体泄露组和气体泄漏组。

进一步的，利用得到的声波残差数据和图像残差数据，确定异常状态；具体为：

分别确定声波残差数据和图像残差数据对应的残差信号等效值；

当声波残差信号等效值和图像残差信号等效值中的至少一个超过设定值时，被检测位置处于异常状态。

进一步的，利用积分计算声信号曲线面积，结合设定的声残差信号比例系数，确定声波残差信号等效值。

进一步的，利用残差图像像素求和后取平均值，结合设定的图残差信号比例系数，确定图像残差信号等效值。

进一步的，提取图像残差数据中不同尺度的特征，具体为：基于ConvNeXt网络提取图像残差数据中不同尺度的特征。

进一步的，提取图像残差数据中的频谱图，具体为：基于快速傅立叶变换获取图像残差数据的频谱图。

进一步的，提取图像残差数据中不同尺度的特征，经融合并转换为一维特征特征图P ₁，具体为：获取的多尺度特征通过降采样合并为尺度最小的特征图，并进行相加融合和维度转换，得到一维特征图P ₁。

进一步的，特征图P ₁，P ₂和P ₃的尺寸大小相等，融合后经全连接层得到检测结果。

本发明的第二个方面提供基于声图融合的泄漏检测系统，包括：

数据采集模块，被配置为：获取待测位置的声音和图像并预处理，得到声波残差数据和图像残差数据；

异常状态判断模块，被配置为：利用得到的声波残差数据和图像残差数据确定异常状态；

泄漏检测模块，被配置为：在异常状态下，分别提取图像残差数据中不同尺度的特征和频谱图，经融合并转换为一维特征特征图P ₁，提取频谱图中的图像频率和幅度信息经维度压缩得到一维特征图P ₂，声波残差数据经特征变换得到特征图P ₃，特征图P ₁，P ₂和P ₃经相加融合得到泄漏检测结果。

本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述配基于声图融合的泄漏检测方法中的步骤。

本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述基于声图融合的泄漏检测方法中的步骤。

与现有技术相比，以上一个或多个技术方案存在以下有益效果：

1、采用两阶段识别方法，利用待测位置的声信号和图像信号分别得到对应的残差信号，根据残差信号确定被测位置处于异常状态或正常状态；在异常状态下，提取图像残差信号的频域信息，与图像残差信号的多尺度特征融合，并进一步与声音的残差信号中的特征进行融合，能够提高泄漏检测的准确性。

2、声信号和图像信号融合的方式使算法能够利用多种不同的模态进行泄漏检测，而不再是传统方法中单一的图像模态，能够应对泄漏时不产生液体滴漏而仅有声音时的情况或是液体和声音叠加的状态，进而能够应对气体泄漏和液体泄漏等多种工况。

3、基于时间维度处理得到的残差信号，使同一个检测位置的图像和时间能够对应，便于算法从图像和声音两个模态共同识别和检测同一个部位的泄漏情况。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明一个或多个实施例提供的泄漏检测流程示意图；

图2是本发明一个或多个实施例提供的异常状态判断示意图；

图3是本发明一个或多个实施例提供的声图融合识别网络架构示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

正如背景技术中所介绍的，现有技术实现泄漏检测的过程中，通常利用图像中识别到的特征来检测异常状态为主要方式，需要通过训练才能够稳定运行，而泄漏属于小概率事件，并且在泄漏初期，液体的滴漏速度较慢，并不是每一帧图像都含有异常特征，因为间歇性滴漏的液体不会很容易被捕捉到，因此，所获取图像大部分时间都是无异常状态，这将不利于提高识别的准确性。

其次，目前的方式仅基于图像这单一模态的数据进行滴漏检测，准确性太低。如一些惰性气体的泄漏并不会明显的烟雾存在，只是会伴随着一定的声响，这种泄漏特征并不会在图像上有明显的信号，所以，仅基于单一模态的数据进行识别，在某些气体泄漏时并没有很好的效果。

基于模型推理方法的识别非常考验检测设备的处理能力，由于泄漏属于小概率事件，因此，这将导致检测设备的GPU、CPU等部件长期处于工作状态，增加了功耗及发热量，降低了可靠性。

因此，以下实施例给出基于声图融合的泄漏检测方法及系统利用待测位置的声信号和图像信号，基于时间维度处理得到残差信号，从残差信号中获取被测位置异常状态；采用快速傅立叶变换提取图像残差信号的频域信息，通过与声音的残差信号进行特征融合，提高泄漏检测的识别准确性。

实施例一：

如图1-图3所示，基于声图融合的泄漏检测方法，包括以下步骤：

步骤1：数据采集及预处理；

步骤2：异常状态初判；

步骤3：构建模型及训练；

步骤4：模型部署及检测。

步骤1-1：通过传感器获取声信号数据及图像数据。本实施例以管道泄漏检测为例，获取管道上待测部位的声信号数据及图像数据。能够理解的是，本实施例给出的方法不仅限于管道泄漏检测，类似的设备、装置、结构件以及容器等能够发生密封性下降，从而引发泄漏现象的场景均能够适用。

步骤1-2：将声信号进行残差处理，本实施例利用‘帧差法’，将一维声波信号进行作差获取，公式如下：，其中/>为后一时刻的声波信号，/>为前一时刻的声波信号，/>为相邻时间段声波信号的残差值。这个差值的目的是滤除平时正常状态下的声波信号，把异常声响凸显出来。

步骤1-3：将图像信号进行残差处理，具体是利用‘帧差法’，将图像信号进行作差获取，公式如下：，其中/>为后一时刻的图像信号，/>为前一时刻的图像信号，/>为相邻时间段图像信号的残差值。这个残差值的目的是滤除平时正常状态下的图像信号，把异常图像特征凸显出来。

步骤1-4：并将同一时刻的声残差信号与图像残差信号/>成组匹配，并给每一组数据赋值为：/>、/>和/>，分别代表正常，液体泄露和气体泄漏。

步骤1-5：制作数据集，并将其划分为训练数据集和测试数据集。

步骤2-1：构建异常状态初判算法，如图2所示。

步骤2-2：将声残差信号通过公式：进行计算，得到残差信号等效值，其中，/>为声残差信号比例系数，函数/>为声残差信号的等效计算函数，具体是采用积分计算声信号曲线面积，/>的取值范围/>。

步骤2-3：将图像残差信号通过公式：进行计算，得到图像差信号等效值/>，其中，/>为图残差信号比例系数，函数g/>为图残差信号的等效计算函数，具体是残差图像像素求和取平均，/>的取值范围/>。

步骤2-4：设置判别阈值Th，取值范围。Th越小，检测的频率就越高；安全系数越大，漏检的概率也会提升，同时功耗也会上升。此处根据实际工况Th设置为0.2。

步骤2-5：通过判断条件1：和条件2：/>，两个条件有一个满足，则判断当前可能存在异常状态，即可将声残差信号与图像残差信号送入后续的深度学习模型中进行检测；若否，则判断为无异常状态。

步骤3-1：构建声图融合识别网络，如图3所示。

步骤3-2：将数据集中的图片输入到主干网络中，用于提取多尺度特征。

本实施例中，与传统的机器学习相比，采用深度学习自动提取特征，这些特征里面可能包含低维信息（颜色、纹理、形状等），也可能包含高维信息（属性、语义等），这里的多尺度指的是特征图的尺寸多尺度，如原始图像的尺寸为（H，W），那这里的F1、F2、F3、F4分别为（H/2，W/2）、（H/4，W/4）、（H/8，W/8）、（H/16，W/16）；经过实验，采用ConvNeXt网络的表现较好。这里也可以采用其它的网络，例如ResNet、Vgg等网络。

步骤3-3：将数据集中的图片同时输入到频谱提取模块中，利用快速傅立叶变换获取频谱图，如下式所示：

；

其中，f（x,y）是在空间域上等间隔采样得到的M×N的二维离散信号，x和y为离散实变量，u和v为离散频率变量，u=0,1,2,...,M-1；v=0,1,2,...,N-1。

步骤3-4：将获取的多尺度特征F1、F2、F3、F4一同输入到多尺度融合模块中，该模块可以将不同尺度的特征图通过降采样合并为尺度最小的特征图，并将4个变换后的特征图进行相加融合。

步骤3-5：将融合后的特征图输入到特征重构模块，进行特征图的维度转换，将二维特征图转换为一维特征图。

步骤3-6：将频谱图输入到频谱图特征提取模块进行图像的频率以及幅度信息的提取，并将获取的特征图进行维度压缩，转换为一维特征图。

步骤3-7：将声信号输入到两个Linear模块中进行特征变换，使得其输出的特征图的特征尺寸与/>、/>大小相等。

步骤3-8：将、/>、/>输入到特征融合模块进行相加融合，并输入到FC（全连接层）模块中，从FC模块中输出检测结果。

步骤3-9：将训练数据集导入模型训练，并以损失函数引导模型训练方向，执行训练；将训练好的模型在验证数据集上验证，确定其是否满足精度要求。

步骤4-1：将训练好的满足检测精度要求的模型进行封装，通过PyQt编写GUI界面并调用封装好的模型。

步骤4-2：输入图像及声波信号，输出是否有液体泄露、气体泄漏和正常状态。实际应用中，根据待测部位涉及到的介质类型，输出相应的提醒信息，例如输出强酸滴漏或蒸汽滴漏。

上述过程通过两阶段识别方法，通过一般图像处理方法与深度学习方法相结合，降低了设备的执行功耗及发热量、提高了部署设备的可靠性。一般图像处理方法不需要一直调用GPU进行推理，而是只有基于阈值的判别网络中检测出有异常状态的时候的时候才需要调用GPU，而现有技术中采用的纯机器学习或深度学习方法需要一直调用GPU进行推理，与之相比，本方案运行时，GPU的使用频率降低，因此降低了设备的功耗及发热量。

分别采用图残差和声残差信号，将模型的关注点由图像全局变为局部差异，提高了算法的识别准确率与识别效率；图像识别中，为了进一步利用图像的频率信息及幅度信息，引入了频谱图，提升了算法的识别准确率。经过傅里叶变换之后的图像称之为图像频谱图，频谱图中主要包含图像的频率信息以及幅度信息。频率高的区域是图像灰度值变化剧烈的区域，即需要关注的边界信息；而频率低的区域是灰度图像变化缓慢的区域，即不需要关注的非边界区域。通过提取频谱图中的高低维特征，能够进一步利用图像的频率信息及幅度信息，提高算法的准确率。从信息论的角度，就是其它角度引入了更多的有用信息，因此识别效果会提升。

实施例二：

如图3所示，基于声图融合的泄漏检测系统，包括：

数据采集模块，被配置为：获取待测位置的声音和图像并预处理，得到声波残差数据和图像残差数据；

异常状态判断模块，被配置为：利用得到的声波残差数据和图像残差数据，确定被测位置的异常状态；

泄漏检测模块，被配置为：在异常状态下，分别提取图像残差数据中不同尺度的特征和频谱图，经融合并转换为一维特征特征图P ₁，提取频谱图中的图像频率和幅度信息经维度压缩得到一维特征图P ₂，声波残差数据经特征变换得到特征图P ₃，特征图P ₁，P ₂和P ₃经相加融合得到泄漏检测结果。

实施例三：

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于声图融合的泄漏检测方法中的步骤。

实施例四：

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于声图融合的泄漏检测方法中的步骤。

以上实施例二至四中涉及的各步骤与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于声图融合的泄漏检测方法，其特征在于，包括以下步骤：

获取待测位置的声音和图像并预处理，得到声波残差数据和图像残差数据；

利用得到的声波残差数据和图像残差数据，确定被测位置的异常状态；

在异常状态下，提取图像残差数据中不同尺度的特征，经融合并转换为一维特征特征图P ₁，提取图像残差数据频谱图中的图像频率和幅度信息，经维度压缩得到一维特征图P ₂，声波残差数据经特征变换得到特征图P ₃，特征图P ₁，P ₂和P ₃经相加融合得到泄漏检测结果；

所述预处理包括过滤和匹配；

过滤，具体为：分别对待测位置的声音和图像进行残差处理，得到相邻时间段图像信号和声音信号的残差值；

匹配，具体为：将同一时刻的声音残差数据与图像残差数据成组匹配，为匹配后的每一组数据赋值为正常组，液体泄漏组和气体泄漏组；

利用得到的声波残差数据和图像残差数据，确定被测位置的异常状态；具体为：

分别确定声波残差数据和图像残差数据对应的残差信号等效值；

当声波残差信号等效值和图像残差信号等效值中的至少一个超过设定值时，被测位置处于异常状态；

利用积分计算声信号曲线面积，结合设定的声残差信号比例系数，确定声波残差信号等效值；

利用残差图像像素求和后取平均值，结合设定的图残差信号比例系数，确定图像残差信号等效值；

图像残差数据中不同尺度的特征，经融合并转换为一维特征特征图P ₁，具体为：获取的多尺度特征通过降采样合并为尺度最小的特征图，并进行相加融合和维度转换，得到一维特征图P ₁。

2.如权利要求1所述的基于声图融合的泄漏检测方法，其特征在于，提取图像残差数据中不同尺度的特征，具体为：基于ConvNeXt网络提取图像残差数据中不同尺度的特征。

3.如权利要求1所述的基于声图融合的泄漏检测方法，其特征在于，提取图像残差数据中的频谱图，具体为：基于快速傅立叶变换获取图像残差数据的频谱图。

4.如权利要求1所述的基于声图融合的泄漏检测方法，其特征在于，特征图P ₁，P ₂和P ₃的尺寸大小相等，融合后经全连接层得到检测结果。

5.如权利要求1所述的基于声图融合的泄漏检测方法的泄漏检测系统，其特征在于，包括：

数据采集模块，被配置为：获取待测位置的声音和图像并预处理，得到声波残差数据和图像残差数据；

异常状态判断模块，被配置为：利用得到的声波残差数据和图像残差数据，确定被测位置的异常状态；

泄漏检测模块，被配置为：在异常状态下，分别提取图像残差数据中不同尺度的特征和频谱图，经融合并转换为一维特征特征图P ₁，提取频谱图中的图像频率和幅度信息经维度压缩得到一维特征图P ₂，声波残差数据经特征变换得到特征图P ₃，特征图P ₁，P ₂和P ₃经相加融合得到泄漏检测结果。