CN114022804A - 一种泄漏的检测方法、装置、系统及存储介质 - Google Patents

Abstract

本申请提供一种泄漏的检测方法、装置、系统及存储介质，该检测方法包括对获取的视频数据中的至少部分帧图像进行差分及滤波处理，得到差分及滤波处理后的目标视频帧序列；将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域。本申请提供的一些实施例的技术方案可以对不同物理状态下或不同规模下的泄漏情况进行检测，获取泄漏区域的信息，具有较高的通用性，提升了泄漏检测的准确率。

Description

一种泄漏的检测方法、装置、系统及存储介质

技术领域

本申请涉及工业检测技术领域，具体而言，涉及一种泄漏的检测方法、装置、系统及存储介质。

背景技术

在电厂以及化工等传统工业领域，存在大量的工业设备，如：管道和阀门。工业生产中，多数介质都是具有易腐蚀、易燃易爆等特点。由于管道及零部件的老化、腐蚀等原因，这些介质从管道和阀门中容易形成泄漏。而且泄漏可能发生在气相、液相和固相三种不同物理状态下。根据泄漏的流量也会形成不同规模的泄漏。并且绝大多数工厂面积大、设备分散，人工检测难以及时发现泄漏情况，作业成本还很高。

为了保障工业场所设备的安全运行，现有技术中利用机器巡检已然成为一种趋势。目前现有的泄漏检测方法是基于图片针对一种物理形态下的泄漏情况或一种泄漏规模的情况进行检测。而且由于实际的工业环境复杂，检测方法只能在理想条件下进行。显然，由于检测样本的稀缺和检测规模场景的限制很容易导致误检、错检，进而导致人力、物力和财力的浪费。

因此，如何提供一种高效的泄漏检测方法成为亟需解决的技术问题。

发明内容

本申请实施例的目的在于提供一种泄漏的检测方法、装置、系统及存储介质，通过本申请的实施例的技术方案可以对不同物理状态下或不同规模下的泄漏情况进行检测，获取泄漏区域的信息，具有较高的通用性，在一定程度上还提升了泄漏检测的准确率。

第一方面，本申请一些实施例提供了一种泄漏的检测方法，包括：对获取的视频数据中的至少部分帧图像进行差分及滤波处理，得到差分及滤波处理后的目标视频帧序列；将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域。

本申请实施例将差分及滤波处理后的目标视频帧序列输入到目标泄漏检测模型。由于目标泄漏检测模型是根据不同物理状态下，不同规模的泄漏情况下采集的多种样本数据集来训练的，使得该模型可以检测的范围涵盖了所有物理状态下的各种规模的泄漏事故，因此，本申请实施例提供的检测方法通用性较好，检测的结果准确性较高。

在一些实施例，所述对获取的视频数据中的至少部分帧图像进行差分及滤波处理包括：对所述视频数据中的至少部分帧图像内的任一视频帧与所述任一视频帧之后的剩余视频帧做图像差分处理，得到差分处理后的视频帧序列；对所述差分处理后的视频帧序列进行滤波处理，得到目标视频帧序列。

本申请实施例对获取到的视频数据进行差分处理得到的差分处理后的视频帧序列。通过差分处理后的视频帧序列可以容易获取到随着时间的变化，泄漏面积的变化信息。对差分处理后的视频帧序列进行滤波，可以去除掉该视频帧序列中各帧的噪声、纹理及其他影响检测结果的干扰，得到目标视频帧序列。该目标视频帧序列可以在不同的光照或者复杂的实际环境下进行检测，对检测结果的影响较小，进而提升了检测结果的准确性。

在一些实施例，在将所述目标视频帧序列输入到目标泄漏检测模型之前，所述检测方法还包括：对获取的训练视频数据进行差分及滤波处理，得到差分及滤波处理后的历史视频帧序列；将所述历史视频帧序列以及获取的所述原始历史视频数据对应的泄漏区域图像构建训练数据集；利用所述训练数据集对初始泄漏检测模型进行训练，获取目标泄漏检测模型。

本申请实施例通过构建训练数据集对初始泄漏检测模型进行训练，获取目标泄漏检测模型。构建的训练数据集包含有在不同物理状态下、不同规模的泄漏情况下采集的多种样本数据，利用该训练数据集训练得到的目标泄漏检测模型可以适用于不同的泄漏事故场景中，实用性较高。

在一些实施例，所述初始泄漏检测模型包括二维泄漏区域检测模型以及三维泄漏过程检测模型，所述训练数据集包括多帧图像，所述训练数据集包括针对目标帧图像标注目标泄漏区域的泄漏区域标注数据和针对所述多帧图像分别标注泄漏区域的标注数据集合，所述泄漏区域标注数据用于训练所述二维泄漏区域检测模型，所述标注数据集合用于训练所述三维泄漏过程检测模型。其中，所述利用所述训练数据集对初始泄漏检测模型进行训练，获取目标泄漏检测模型，包括：根据所述目标帧图像和所述泄漏区域标注数据对所述二维泄漏区域检测模型进行训练，得到目标二维泄漏区域检测模型；根据所述多帧图像和所述标注数据集合对所述三维泄漏过程检测模型进行训练，得到目标三维泄漏过程检测模型。

本申请实施例的初始泄漏检测模型包括二维泄漏区域检测模型以及三维泄漏过程检测模型，利用训练数据集分别对二维泄漏区域检测模型以及三维泄漏过程检测模型进行训练得到目标二维泄漏区域检测模型和目标三维泄漏过程检测模型。其中，目标二维泄漏区域检测模型可以在时间域上对视频帧进行检测，目标三维泄漏过程检测模型可以在时间域和空间域上对视频帧进行检测。通过对视频帧在时间和空间上的分析，可以提升泄漏检测结果的准确度。

在一些实施例，所述目标泄漏检测模型包括第一检测模型和/或第二检测模型。

本申请实施例通过第一检测模型和/或第二检测模型分别在时间域和空间域上对视频帧的进行检测，可以提升泄漏检测结果的准确度。

在一些实施例，所述第一检测模型为目标二维泄漏区域检测模型和所述第二检测模型为目标三维泄漏过程检测模型，所述视频数据在目标时间段对泄漏过程进行拍摄得到的，所述目标视频帧序列包括关键帧图像和多帧待识别图像，所述关键帧图像是在所述目标时间段内拍摄的具有最大泄漏面积的图像；其中，所述将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域，包括：将所述多帧待识别图像输入到目标三维泄漏过程检测模型，获取在各帧待识别图像上的泄漏区域的动态信息特征图；将所述关键帧图像输入到目标二维泄漏区域检测模型，获取在所述目标时间段内拍摄到的最大泄漏区域的定位信息特征图；根据所述动态信息特征图和所述定位信息特征图，获取泄漏区域。

本申请实施例使用目标三维泄漏过程检测模型同时对视频帧的空间与时间信息进行分析得到泄漏区域的动态信息特征图。使用目标二维泄漏区域检测模型针对关键帧中的泄漏位置进行定位得到泄漏区域的定位信息特征图。两种特征图融合后可以方便的定位到泄漏的位置，而且定位的结果较准确，极大的降低了出现错检和误检的概率。

在一些实施例，所述根据所述动态信息特征图和所述定位信息特征图，获取泄漏区域，包括：对所述动态信息特征图和所述定位信息特征图进行拼接处理，获取初始泄漏区域特征图；将所述初始泄漏区域特征图输入到目标融合网络，获取泄漏区域。

本申请实施例是先对动态信息特征图和定位信息特征图进行处理后，得到初始泄漏区域特征图，便于后续准确提取泄漏区域。之后利用目标融合网络得到最后的泄漏区域，实现泄漏区域的精准定位，便于后续对泄漏区域进行精准作业。

在一些实施例，所述目标融合网络由至少两层的卷积网络构成。

本申请实施例采用至少两层的卷积网络涉及目标融合网络，能够对输入的图像进行精准计算，提取多类重要特征，最后得到的结果准确性更高。

在一些实施例，所述目标泄漏检测模型包括目标三维泄漏过程检测模型。

本申请实施例还可以通过训练得到的目标三维泄漏过程检测模型对视频帧的空间与时间信息进行分析得到泄漏区域的动态信息特征图，进而处理得到泄漏区域信息。本申请实施例提供的方法也能够降低出现错检和误检的概率。

在一些实施例，所述第一检测模型为目标检测网络，所述第二检测模型为长短期记忆网络。

本申请实施例的第一检测模型和第二检测模型还可以是利用训练数据集训练检测模型和长短期记忆网络获取的，为泄漏检测提供了另一种检测方法，可以根据不同的场景选择不同的检测方法，实用性较高。

第二方面，本申请一些实施例提供了一种泄漏的检测装置，所述检测装置包括：视频数据处理模块，被配置为对获取的视频数据中的至少部分帧图像进行差分及滤波处理，得到差分及滤波处理后的目标视频帧序列；泄漏检测模块，被配置为将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域。

第三方面，本申请一些实施例提供了一种系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，当所述指令由所述一个或多个计算机执行时，使得所述一个或多个计算机执行根据第一方面中的任意实施例所述的相应方法的操作。

第四方面，本申请一些实施例提供了一种存储指令的一个或多个计算机存储介质，当所述指令由一个或多个计算机执行时，使得所述一个或多个计算机执行根据第一方面中的任意实施例所述的相应方法的操作。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的目标泄漏检测模型的训练方法流程图；

图2为本申请实施例提供的基于3D卷积网络模型和2D卷积网络模型，获取目标三维泄漏过程检测模型和目标二维泄漏区域检测模型的模型结构图；

图3为本申请实施例提供的一种泄漏的检测方法流程图；

图4为本申请实施例提供的目标视频数据的处理方法流程图；

图5为本申请实施例提供的基于3D和2D模型获取泄漏区域的模型结构图；

图6为本申请实施例提供的基于长短期记忆网络获取泄漏区域的网络模型结构图；

图7为本申请实施例提供的一种泄漏的检测装置的组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

工业生产的泄漏事故可以发生在气相、液相和固相(粉末)三种物理状态下。根据泄漏的流量的不同规模可以分为渗漏、滴漏、喷漏和涌漏等等。为了保障工业场所设备的安全运行，需要对工业设备进行全天候定时巡检。目前存在的多种泄漏检测方法只能对一种物理形态下的泄漏进行检测或者只针对一种泄漏的规模进行检测。可见泄漏检测的算法通用性很差。由于受到光照、不同背景的环境影响，在利用传统图像方法进行泄漏检测时容易出现错检和误检的情况。而且由于工业设备实际所处的场所环境复杂多变，无法采集到大量的数据样本，因此采用深度学习的方法来进行泄漏检测的效果也不理想。

由上述相关技术可知，现有的泄漏检测方法的通用性较差，检测结果的准确率较低。鉴于此，本申请的一些实施例是将经过差分处理后的视频序列输入到目标泄漏检测模型，得到泄漏的区域信息。由于本申请这些实施例输入到目标检测模型的是将获取的视频数据进行差分及滤波处理后的视频序列，而且目标检测模型可以联合时间域和空间域对输入的视频序列进行分析，得到泄漏区域。因此，采用本申请的模型可以不受作业环境限制，对于任何工业场景下的视频帧数据，都可以准确定位到泄漏的区域，通用性较好。这是由于对视频数据差分及滤波处理可以滤除掉光照和环境等其他外在因素对检测结果的影响，同时可以整合时间信息和空间信息的分析结果，因此模型的适用性较强，检测结果的准确性较好。

下面首先示例性介绍对泄漏检测模型进行训练，得到具有泄漏检测功能的目标泄漏检测模型的过程。

参见附图1，图1示出了本申请的一些实施例中目标泄漏检测模型的训练方法流程图。

在本申请的一些实施例中，目标泄漏检测模型的训练方法可以包括：S110，对获取的训练视频数据进行差分及滤波处理，得到差分及滤波处理后的历史视频帧序列。S120，将历史视频帧序列以及获取的原始历史视频数据对应的泄漏区域图像构建训练数据集。S130，利用所述训练数据集对初始泄漏检测模型进行训练，获取目标泄漏检测模型。

在本申请的一些实施例中，为了整合时间域和空间域的分析结果，以保证泄漏区域的检测结果的准确性。S130的初始泄漏检测模型包括二维泄漏区域检测模型以及三维泄漏过程检测模型。所述训练数据集包括针对目标帧图像标注目标泄漏区域的泄漏区域标注数据和针对所述多帧图像分别标注泄漏区域的标注数据集合，所述泄漏区域标注数据用于训练所述二维泄漏区域检测模型，所述标注数据集合用于训练所述三维泄漏过程检测模型。其中，根据所述目标帧图像和所述泄漏区域标注数据对所述二维泄漏区域检测模型进行训练，得到目标二维泄漏区域检测模型。根据所述多帧图像和所述标注数据集合对所述三维泄漏过程检测模型进行训练，得到目标三维泄漏过程检测模型。

作为一个示例，请参见附图2。附图2为本申请的一些实施例提供的基于3D卷积网络模型和2D卷积网络模型，获取目标三维泄漏过程检测模型和目标二维泄漏区域检测模型的模型结构图。下面以部分训练数据集为例对具体的训练流程进行说明。

第一步，选定需要检测的目标区域。

检测的区域可以由可见光相机或热成像相机拍摄获取。检测的区域可以为相机的整个视角，也可以为相机视野中的部分区域。若选取部分区域来作为检测区域，可以采用传统的视觉处理方法(例如，模板匹配方法或目标检测算法)或者人工划定，得到检测的目标区域。

第二步，构建训练数据集。

首先，获取检测的目标区域的历史视频数据和标注数据。

其次，对该历史视频数据进行差分及滤波处理，得到差分及滤波处理后的历史视频帧序列。历史视频帧序列中包含有多帧图像。从多帧图像中选取具有最大泄漏面积的图像作为目标帧。

最后，构建好的训练数据集包括：多帧图像以及针对目标帧图像标注目标泄漏区域的泄漏区域标注数据和针对多帧图像分别标注泄漏区域的标注数据集合。

需要说明的是，对历史视频数据进行差分及滤波处理，可以是选定历史视频数据中的任一历史视频帧为参照帧，将该历史视频帧之后的剩余视频帧分别与参照帧做图像差分及滤波处理，得到所述差分及滤波处理后的历史视频帧序列。

例如，第二步得到的历史视频数据内有十帧图像，以第一帧图像作为参考帧，按照视频帧的时序信息，将第一帧之后的图像依次与第一帧图像做差分及滤波处理，得到差分及滤波处理后的九帧图像，这九帧图像按照时序信息组成历史视频帧序列。将这九帧图像中泄漏面积最大的作为目标帧(假设为第十帧)。九帧图像中的至少部分帧图像或全部帧图像均可作为训练数据集的一部分。

第三步，训练模型。

利用第二步得到的泄漏区域标注数据训练2D卷积网络模型，泄漏区域的标注数据集合训练3D卷积网络模型，得到目标2D卷积网络模型(作为目标二维泄漏区域检测模型的一个具体示例)和目标3D卷积网络模型(作为目标三维泄漏过程检测模型的一个具体示例)。

作为一个示例，例如，以上述得到的目标帧也就是第十帧图像作为2D卷积网络模型的输入数据，以第十帧图像的泄漏区域标注数据为输出数据，训练2D卷积网络模型得到目标2D卷积网络模型。以上述得到的九帧图像作为3D卷积网络模型的输入数据，以这九帧图像分别标注泄漏区域的标注数据集合为输出数据，训练3D卷积网络模型得到目标3D卷积网络模型。

下面结合训练得到的目标泄漏检测模型示例性阐述本申请的一些实施例提供的泄漏的检测方法的具体过程。

请参见附图3，图3为本申请的一些实施例提供的一种泄漏的检测方法流程图。

本申请实施例提供的泄漏的检测方法可以包括：S310，对获取的视频数据中的至少部分帧图像进行差分及滤波处理，得到差分及滤波处理后的目标视频帧序列。S320，将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域。

下面示例性阐述上述过程。

在本申请的一些实施例中，为了减小视频数据中环境因素产生的噪声及其他干扰，保证检测结果的准确性。S310中的视频数据是在目标时间段对泄漏过程进行拍摄得到的。对获取的视频数据中的至少部分帧图像进行差分及滤波处理包括：对所述视频数据中的至少部分帧图像内的任一视频帧与所述任一视频帧之后的剩余视频帧做图像差分处理，得到差分处理后的视频帧序列；对所述差分处理后的视频帧序列进行滤波处理，得到目标视频帧序列。目标视频帧序列包括关键帧图像和多帧待识别图像，关键帧图像是在目标时间段内拍摄的具有最大泄漏面积的图像。

例如，参见附图4提供的目标视频数据的处理方法流程图。在目标时间段对泄漏过程进行拍摄得到的视频数据，按照视频的时序信息，从该视频数据中抽取四帧图片，然后第一帧图像之后的三帧图像分别和第一帧图像进行差分处理，得到三帧差分图。然后对这三帧差分图进行滤波操作滤除图片中的噪点数据。滤波采用的方法可以包括但不限于滤波或者高斯滤波。

需要说明的是，在本申请的一些实施例中S320中的目标泄漏检测模型是通过上述图1的方式训练得到的，本申请的一些实施例也可以采用不同于图1的训练过程得到目标泄漏检测模型，图1的训练过程只作为一个具体示例。

在本申请的一些实施例中，S320中的目标泄漏检测模型可以包括第一检测模型和第二检测模型。其中，第一检测模型可以是图2通过训练2D卷积网络模型得到的目标二维泄漏区域检测模型。第二检测模型可以是训练3D卷积网络模型得到的目标三维泄漏过程检测模型。

在本申请的一些实施例中，S320包括将所述多帧待识别图像输入到目标三维泄漏过程检测模型，获取在各帧待识别图像上的泄漏区域的动态信息特征图；将所述关键帧图像输入到目标二维泄漏区域检测模型，获取在所述目标时间段内拍摄到的最大泄漏区域的定位信息特征图；根据所述动态信息特征图和所述定位信息特征图，获取泄漏区域。

为了提高泄漏区域检测结果的准确度。在本申请的一些实施例中，根据动态信息特征图和定位信息特征图，获取泄漏区域，包括：对动态信息特征图和定位信息特征图进行拼接处理，获取初始泄漏区域特征图；将初始泄漏区域特征图输入到目标融合网络，获取泄漏区域。其中，所述目标融合网络由至少两层的卷积网络构成。

可以理解的是，目标三维泄漏过程检测模型可以检测时间域和空间域上的信息，该视频帧的泄漏区域随着图片序列的时间推移，泄漏面积动态变化(缓慢泄漏，例如渗漏或滴漏)或流动性动态变化(液体流动，例如涌漏；粉末泄漏，例如喷漏)的信息。目标二维泄漏区域检测模型输入的关键帧可以选取泄漏面积最大的一帧，便于定位泄漏区域。两种模型的联合分析，可以较好的确定泄漏区域。

例如，在本申请的一些实施例，对于泄漏规模较小的事故，例如渗漏或滴漏，目标三维泄漏过程检测模型还可以被配置为提取多帧待识别图像中的生长性特征信息，最后输出泄漏区域的动态信息特征图。对于泄漏规模较大的事故，例如喷漏或涌漏，目标三维泄漏过程检测模型还可以被配置为提取多帧待识别图像中的流动性特征信息，最后输出泄漏区域的动态信息特征图。

作为一个具体示例，参见附图5提供的基于3D和2D模型获取泄漏区域的模型结构图，通过上述S310得到时刻t～t+5的各个时刻对应的视频帧序列，即5帧尺寸为3×D×224×224的图像。将5帧图像输入到目标3DConv网络模型(作为目标三维泄漏过程检测模型的一个具体示例)中得到尺寸为2048×7×7的动态信息特征图；将t+5时刻对应的帧作为关键帧输入到目标YOLOv1网络(作为目标二维泄漏区域检测模型的一个具体示例)中得到尺寸为40×7×7的定位信息特征图。之后将尺寸为2048×7×7的动态信息特征图和尺寸为40×7×7的定位信息特征图进行拼接，得到(2048+40)×7×7的初始泄漏区域特征图。最后，将该初始泄漏区域特征图输入到采用两层1x1的卷积核的网络组成的融合网络结构中(作为目标融合网络的一个具体示例)，得到融合网络结构输出的标注有泄漏区域的图片，即图中的预测结果图。

通过上述提供的示例，本实施例采用3D和2D模型相结合的检测方法，对于2D模型的训练只需要标注关键帧即可，大大减少了训练数据的标注数量，降低了模型训练的工作量。同时采用合适尺寸的视频帧进行训练和预测，能够降低模型训练的复杂度，提升检测的工作效率。采用多层卷积结构对特征图进行泄漏区域提取标注，提升了检测的准确度。

在本申请的一些实施中，S320中的目标泄漏检测模型包括第一检测模型和/或第二检测模型。可以理解的是，可以将第一检测模型和第二检测模型联合使用进行泄漏检测，也可以采用第一检测模型或第二检测模型进行目标检测。

在本申请的另外一些实施例中，S320中的目标泄漏检测模型还可以是目标三维泄漏过程检测模型。

在本申请的另外一些实施例中，S320中的目标泄漏检测模型可以包括第一检测模型和第二检测模型。其中，第一检测模型还可以是目标检测网络，第二检测模型还可以是长短期记忆网络。

例如，作为一个具体示例，参见附图6提供的基于长短期记忆网络获取泄漏区域的网络模型结构图。该示例利用深度学习神经网络中的图像分类网络即GoogLeNet获取泄漏区域的三维空间信息，利用长短期记忆网络(Long Short-Term Memory，简称LSTM)在时间的维度上提取泄漏区域的位置和置信度。本实施例改变了GoogLeNet模型的输入通道数。将传统的输入RGB格式图片的3个通道修改为输入差分图片序列的序列数，图片的尺寸采用640*480，其中差分图片为单通道灰度图。具体的泄漏区域检测方法如下。

首先，通过上述S310获取到时刻t～t+n(n＝1,2,3...)的各个时刻对应的视频帧，本实施例采用10帧差分后的图片输入到目标GoogLeNet模型(作为第一检测模型的一个具体示例)，得到尺寸为20×15×1024的空间特征图。然后将空间特征图输入到目标LSTM网络模型(作为第二检测模型的一个具体示例)，得到目标LSTM网络模型输出的标注有泄漏区域的图像信息以及泄漏区域的中心点位置坐标信息、泄漏区域宽度及高度信息、泄漏的类型和泄漏的置信度。

需要说明的是，目标GoogLeNet模型和目标LSTM网络模型是分别通过训练GoogLeNet模型和LSTM网络模型得到的。

请参考图7，图7示出了本申请实施例提供的一种泄漏的检测装置的组成框图。应理解，该泄漏的检测装置与上述图3方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该泄漏的检测装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

图7的泄漏的检测装置包括至少一个能以软件或固件的形式存储于存储器中或固化在泄漏的检测装置中的软件功能模块，该泄漏的检测装置包括：视频数据处理模块710和泄漏检测模块720。

视频数据处理模块710，被配置为对获取的视频数据中的至少部分帧图像进行差分及滤波处理，得到差分及滤波处理后的目标视频帧序列；泄漏检测模块720，被配置为将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域。

在本申请的一些实施例中，视频数据处理模块710还可以被配置为：对所述视频数据中的至少部分帧图像内的任一视频帧与所述任一视频帧之后的剩余视频帧做图像差分处理，得到差分处理后的视频帧序列；对所述差分处理后的视频帧序列进行滤波处理，得到目标视频帧序列。

在本申请的一些实施例中，该检测装置还包括训练模块(图中未示出)。训练模块被配置为：对获取的训练视频数据进行差分及滤波处理，得到差分及滤波处理后的历史视频帧序列；将所述历史视频帧序列以及获取的所述原始历史视频数据对应的泄漏区域图像构建训练数据集；利用所述训练数据集对初始泄漏检测模型进行训练，获取目标泄漏检测模型。

在本申请的一些实施例中，训练模块还可以被配置为：所述初始泄漏检测模型包括二维泄漏区域检测模型以及三维泄漏过程检测模型，所述训练数据集包括多帧图像，所述训练数据集包括针对目标帧图像标注目标泄漏区域的泄漏区域标注数据和针对所述多帧图像分别标注泄漏区域的标注数据集合，所述泄漏区域标注数据用于训练所述二维泄漏区域检测模型，所述标注数据集合用于训练所述三维泄漏过程检测模型。根据所述目标帧图像和所述泄漏区域标注数据对所述二维泄漏区域检测模型进行训练，得到目标二维泄漏区域检测模型。根据所述多帧图像和所述标注数据集合对所述三维泄漏过程检测模型进行训练，得到目标三维泄漏过程检测模型。

在本申请的一些实施例中，所述目标泄漏检测模型包括第一检测模型和/或第二检测模型。

在本申请的一些实施例中，上述的所述第一检测模型为目标二维泄漏区域检测模型和所述第二检测模型为目标三维泄漏过程检测模型，所述视频数据在目标时间段对泄漏过程进行拍摄得到的，所述目标视频帧序列包括关键帧图像和多帧待识别图像，所述关键帧图像是在所述目标时间段内拍摄的具有最大泄漏面积的图像。泄漏检测模块720还可以被配置为：将所述多帧待识别图像输入到目标三维泄漏过程检测模型，获取在各帧待识别图像上的泄漏区域的动态信息特征图。将所述关键帧图像输入到目标二维泄漏区域检测模型，获取在所述目标时间段内拍摄到的最大泄漏区域的定位信息特征图。根据所述动态信息特征图和所述定位信息特征图，获取泄漏区域。

在本申请的一些实施例中，所述根据所述动态信息特征图和所述定位信息特征图，获取泄漏区域，包括：根据动态信息特征图和定位信息特征图，获取泄漏区域，包括：对动态信息特征图和定位信息特征图进行拼接处理，获取初始泄漏区域特征图；将初始泄漏区域特征图输入到目标融合网络，获取泄漏区域。

在本申请的一些实施例中，所述目标融合网络由至少两层的卷积网络构成。

在本申请的另一些实施例中，所述目标泄漏检测模型可以包括目标三维泄漏过程检测模型。

在本申请的另一些实施例中，所述第一检测模型可以为目标检测网络，所述第二检测模型可以为长短期记忆网络。

本申请的一些实施例还提供一种系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，当所述指令由所述一个或多个计算机执行时，使得所述一个或多个计算机执行图3中任意实施例的方法的操作。

本申请的一些实施例还提供一种存储指令的一个或多个计算机存储介质，当所述指令由一个或多个计算机执行时，使得所述一个或多个计算机执行图3中任意实施例的方法的操作

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (13)

1.一种泄漏的检测方法，其特征在于，包括：

对获取的视频数据中的至少部分帧图像进行差分及滤波处理，得到差分及滤波处理后的目标视频帧序列；

将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域。

2.根据权利要求1所述的检测方法，其特征在于，所述对获取的视频数据中的至少部分帧图像进行差分及滤波处理包括：

对所述视频数据中的至少部分帧图像内的任一视频帧与所述任一视频帧之后的剩余视频帧做图像差分处理，得到差分处理后的视频帧序列；

对所述差分处理后的视频帧序列进行滤波处理，得到目标视频帧序列。

3.根据权利要求1所述的检测方法，其特征在于，在将所述目标视频帧序列输入到目标泄漏检测模型之前，所述检测方法还包括：

对获取的训练视频数据进行差分及滤波处理，得到差分及滤波处理后的历史视频帧序列；

将所述历史视频帧序列以及获取的所述原始历史视频数据对应的泄漏区域图像构建训练数据集；

利用所述训练数据集对初始泄漏检测模型进行训练，获取目标泄漏检测模型。

4.如权利要求3所述的检测方法，其特征在于，所述初始泄漏检测模型包括二维泄漏区域检测模型以及三维泄漏过程检测模型，所述训练数据集包括多帧图像，所述训练数据集包括针对目标帧图像标注目标泄漏区域的泄漏区域标注数据和针对所述多帧图像分别标注泄漏区域的标注数据集合，所述泄漏区域标注数据用于训练所述二维泄漏区域检测模型，所述标注数据集合用于训练所述三维泄漏过程检测模型；

其中，

所述利用所述训练数据集对初始泄漏检测模型进行训练，获取目标泄漏检测模型，包括：

根据所述目标帧图像和所述泄漏区域标注数据对所述二维泄漏区域检测模型进行训练，得到目标二维泄漏区域检测模型；

根据所述多帧图像和所述标注数据集合对所述三维泄漏过程检测模型进行训练，得到目标三维泄漏过程检测模型。

5.根据权利要求1或3所述的检测方法，其特征在于，所述目标泄漏检测模型包括第一检测模型和/或第二检测模型。

6.根据权利要求5所述的检测方法，其特征在于，所述第一检测模型为目标二维泄漏区域检测模型和所述第二检测模型为目标三维泄漏过程检测模型，所述视频数据在目标时间段对泄漏过程进行拍摄得到的，所述目标视频帧序列包括关键帧图像和多帧待识别图像，所述关键帧图像是在所述目标时间段内拍摄的具有最大泄漏面积的图像；

其中，

所述将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域，包括：

将所述多帧待识别图像输入到目标三维泄漏过程检测模型，获取在各帧待识别图像上的泄漏区域的动态信息特征图；

将所述关键帧图像输入到目标二维泄漏区域检测模型，获取在所述目标时间段内拍摄到的最大泄漏区域的定位信息特征图；

根据所述动态信息特征图和所述定位信息特征图，获取泄漏区域。

7.根据权利要求6所述的检测方法，其特征在于，所述根据所述动态信息特征图和所述定位信息特征图，获取泄漏区域，包括：

对所述动态信息特征图和所述定位信息特征图进行拼接处理，获取初始泄漏区域特征图；

将所述初始泄漏区域特征图输入到目标融合网络，获取泄漏区域。

8.根据权利要求7所述的检测方法，其特征在于，所述目标融合网络由至少两层的卷积网络构成。

9.如权利要求1或3所述的检测方法，其特征在于，所述目标泄漏检测模型包括目标三维泄漏过程检测模型。

10.如权利要求5所述的检测方法，其特征在于，所述第一检测模型为目标检测网络，所述第二检测模型为长短期记忆网络。

11.一种泄漏的检测装置，其特征在于，所述检测装置包括：

视频数据处理模块，被配置为对获取的视频数据中的至少部分帧图像进行差分及滤波处理，得到差分及滤波处理后的目标视频帧序列；

泄漏检测模块，被配置为将所述目标视频帧序列输入到目标泄漏检测模型，获取泄漏区域。

12.一种系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，当所述指令由所述一个或多个计算机执行时，使得所述一个或多个计算机执行根据权利要求1-10中任一项所述的相应方法的操作。

13.一种存储指令的一个或多个计算机存储介质，当所述指令由一个或多个计算机执行时，使得所述一个或多个计算机执行根据权利要求1-10中任一项所述的相应方法的操作。

Images